K近邻算法实现红酒聚类
1. K近邻算法(KNN)
基本概念:用于分类和回归的非参数统计方法
K近邻算法(K-Nearest-Neighbor, KNN)是一种用于分类和回归的非参数统计方法,最初由 Cover和Hart于1968年提出(Cover等人,1967),是机器学习最基础的算法之一。它正是基于以上思想:要确定一个样本的类别,可以计算它与所有训练样本的距离,然后找出和该样本最接近的k个样本,统计出这些样本的类别并进行投票,票数最多的那个类就是分类的结果。KNN的三个基本要素:
- K值,一个样本的分类是由K个邻居的“多数表决”确定的。K值越小,容易受噪声影响,反之,会使类别之间的界限变得模糊。
- 距离度量,反映了特征空间中两个样本间的相似度,距离越小,越相似。常用的有Lp距离(p=2时,即为欧式距离)、曼哈顿距离、海明距离等。
- 分类决策规则,通常是多数表决,或者基于距离加权的多数表决(权值与距离成反比)。
分类问题:找出k个最近的样本,通过多数表决确定类别
预测算法(分类)的流程如下:
(1)在训练样本集中找出距离待测样本x_test最近的k个样本,并保存至集合N中;
(2)统计集合N中每一类样本的个数 C i , i = 1 , 2 , 3 , . . . , c C_{i}, i=1,2,3,...,c Ci,i=1,2,3,...,c;
(3)最终的分类结果为argmax
C
i
C_{i}
Ci (最大的对应的
C
i
C_{i}
Ci)那个类。
回归问题:使用邻居标签的均值或加权均值
距离度量:欧氏距离、曼哈顿距离、海明距离等