昇思20天

K近邻算法实现红酒聚类

1. K近邻算法（KNN）

基本概念：用于分类和回归的非参数统计方法
K近邻算法（K-Nearest-Neighbor, KNN）是一种用于分类和回归的非参数统计方法，最初由 Cover和Hart于1968年提出(Cover等人,1967)，是机器学习最基础的算法之一。它正是基于以上思想：要确定一个样本的类别，可以计算它与所有训练样本的距离，然后找出和该样本最接近的k个样本，统计出这些样本的类别并进行投票，票数最多的那个类就是分类的结果。KNN的三个基本要素：

• K值，一个样本的分类是由K个邻居的“多数表决”确定的。K值越小，容易受噪声影响，反之，会使类别之间的界限变得模糊。
• 距离度量，反映了特征空间中两个样本间的相似度，距离越小，越相似。常用的有Lp距离（p=2时，即为欧式距离）、曼哈顿距离、海明距离等。
• 分类决策规则，通常是多数表决，或者基于距离加权的多数表决（权值与距离成反比）。

分类问题：找出k个最近的样本，通过多数表决确定类别
预测算法（分类）的流程如下：

（1）在训练样本集中找出距离待测样本x_test最近的k个样本，并保存至集合N中；

（2）统计集合N中每一类样本的个数$C_i,i=1,2,3,...,c$；

（3）最终的分类结果为argmax$C_i$ （最大的对应的$C_i$）那个类。
回归问题：使用邻居标签的均值或加权均值
距离度量：欧氏距离、曼哈顿距离、海明距离等