K近邻(k-nearest neighbors)初探

1 KNN的介绍和应用

1.1 KNN的介绍

    KNN(k-nearest neighbors)，中文翻译K近邻。我们常常听到一个故事：如果要了解一个人的经济水平，只需要知道他最好的5个朋友的经济能力，对他的这五个人的经济水平求平均就是这个人的经济水平。这句话里面就包含着kNN的算法思想。

    示例 ：如上图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。

1) KNN建立过程
    1 给定测试样本，计算它与训练集中的每一个样本的距离。
    2 找出距离近期的K个训练样本。作为测试样本的近邻。
    3 依据这K个近邻归属的类别来确定样本的类别。

2) 类别的判定
    ①投票决定，少数服从多数。取类别最多的为测试样本类别。
    ②加权投票法，依据计算得出距离的远近，对近邻的投票进行加权，距离越近则权重越大，设定权重为距离平方的倒数。
​

1.2 KNN的应用

    KNN虽然很简单，但是人们常说"大道至简"，一句"物以类聚，人以群分"就能揭开其面纱，看似简单的KNN即能做分类又能做回归，还能用来做数据预处理的缺失值填充。由于KNN模型具有很好的解释性，一般情况下对于简单的机器学习问题，我们可以使用KNN作为Baseline，对于每一个预测结果，我们可以很好的进行解释。推荐系统的中，也有着KNN的影子。例如文章推荐系统中，对于一个用户A，我们可以把和A最相近的k个用户，浏览过的文章推送给A。

    机器学习领域中，数据往往很重要，有句话叫做:“数据决定任务的上限, 模型的目标是无限接近这个上限”。可以看到好的数据非常重要，但是由于各种原因，我们得到的数据是有缺失的，如果我们能够很好的填充这些缺失值，就能够得到更好的数据，以至于训练出来更鲁棒的模型。接下来我们就来看看KNN如果做分类，怎么做回归以及怎么填充空值。
​

2. 学习目标

1. 了解KNN怎么做分类问题
2. 了解KNN如何做回归
3. 了解KNN怎么做空值填充, 如何使用knn构建带有空值的pipeline
   ​

3. 代码流程

1. 二维数据集–knn分类
   • Step1: 库函数导入
   • Step2: 数据导入
   • Step3: 模型训练&可视化
   • Step4: 原理简析
2. 莺尾花数据集–kNN分类
   • Step1: 库函数导入
   • Step2: 数据导入&分析
   • Step3: 模型训练
   • Step4: 模型预测&可视化
3. 模拟数据集–kNN回归
   • Step1: 库函数导入
   • Step2: 数据导入&分析
   • Step3: 模型训练&可视化
4. 马绞痛数据–kNN数据预处理+kNN分类pipeline
   • Step1: 库函数导入
   • Step2: 数据导入&分析
   • Step3: KNNImputer空值填充–使用和原理介绍
   • Step4: KNNImputer空值填充–欧式距离的计算
   • Step5: 基于pipeline模型预测&可视化

4. KNN原理介绍

    k近邻方法是一种惰性学习算法，可以用于回归和分类，它的主要思想是投票机制，对于一个测试实例x, 我们在有标签的训练数据集上找到和最相近的k个数据，用他们的label进行投票，分类问题则进行表决投票，回归问题使用加权平均或者直接平均的方法。knn算法中我们最需要关注两个问题：k值的选择和距离的计算。

    kNN中的k是一个超参数，需要我们进行指定，一般情况下这个k和数据有很大关系，都是交叉验证进行选择，但是建议使用交叉验证的时候，k∈[2,20]，使用交叉验证得到一个很好的k值。

    k值还可以表示我们的模型复杂度，当k值越小意味着模型复杂度变大，更容易过拟合，(用极少数的样例来绝对这个预测的结果，很容易产生偏见，这就是过拟合)。我们有这样一句话，k值越多学习的估计误差越小，但是学习的近似误差就会增大。

距离/相似度的计算：

    样本之间的距离的计算，我们一般使用对于一般使用Lp距离进行计算。当p=1时候，称为曼哈顿距离(Manhattan distance)，当p=2时候，称为欧氏距离(Euclidean distance)，当p=∞时候，称为极大距离(infty distance), 表示各个坐标的距离最大值,另外也包含夹角余弦等方法。

    一般采用欧式距离较多，但是文本分类则倾向于使用余弦来计算相似度。

    对于两个向量$(x_i,x_j)$,一般使用$L_p$距离进行计算。 假设特征空间$X$是n维实数向量空间$R^n$ , 其中,$x_i,x_j\in X$,$x_i=\left(x_i^{(1)},x_i^{(2)},\dots ,x_i^{(n)}\right)$,$x_j=\left(x_j^{(1)},x_j^{(2)},\dots ,x_j^{(n)}\right)$
    $x_i，x_j$的$L_p$距离定义为:
L p ( x i , x j ) = ( ∑ l = 1 n ∣ x i ( l ) − x j ( l ) ∣ p ) 1 p L_{p}\left(x_{i}, x_{j}\right)=\left(\sum_{l=1}^{n}\left|x_{i}^{(l)}-x_{j}^{(l)}\right|^{p}\right)^{\frac{1}{p}} Lp​(xi​,xj​)=(l=1∑n​