机器学习之K-近邻算法学习笔记

K-近邻算法

1、k-近邻法简介

k近邻法(k-nearest neighbor, k-NN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。

它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。

一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

$k$近邻法的输入为实例的特征向量，输出为实例的类别，可以取多个类。分类时，对于新的实例，根据其 $k$ 个最近邻的训练实例的类别，通过多数表决等方式进行预测。k值的选择、距离度量及分类决策规则是$k$近邻法的三个基本要素。

2、距离度量

我们已经知道k-近邻算法根据特征比较，然后提取样本集中特征最相似数据(最邻近)的分类标签。那么，如何进行比较呢？

比如，以表1.1为例，怎么判断红色圆点标记的电影所属的类别呢？ 如下图所示。

可以从散点图大致推断，这个红色圆点标记的电影可能属于动作片，因为距离已知的那两个动作片的圆点更近。

这个电影分类的例子有2个特征，也就是在2维实数向量空间，可以使用我们高中学过的两点距离公式计算距离：
$$|AB|=\sqrt{(x_1-x_2{)}^2+(y_1-y_2{)}^2}$$
通过计算，我们可以得到如下结果：

(101,20)->动作片(108,5)的距离约为16.55
(101,20)->动作片(115,8)的距离约为18.44
(101,20)->爱情片(5,89)的距离约为118.22
(101,20)->爱情片(1,101)的距离约为128.69

通过计算可知，红色圆点标记的电影到动作片(108,5) 的距离最近，为16.55 。如果算法直接根据这个结果，判断该红色圆点标记的电影为动作片，这个算法就是最近邻算法 ，而非k-近邻算法 。那么k-近邻算法是什么呢？

k-近邻算法 步骤如下：

1. 计算已知类别数据集中的点与当前点之间的距离 ；
2. 按照距离递增次序排序 ；
3. 选取与当前点距离最小的k个点 ；
4. 确定前k个点所在类别的出现频率 ；
5. 返回前k个点所出现频率最高的类别 作为当前点的预测分类。

比如，现在我这个k值取3，那么在电影例子中，按距离依次排序的三个点分别是动作片(108,5)、动作片(115,8)、爱情片(5,89)。在这三个点中，动作片出现的频率为三分之二，爱情片出现的频率为三分之一，所以该红色圆点标记的电影为动作片。这个判别过程就是k-近邻算法。需要理解

3、Python3代码实现

我们已经知道了k-近邻算法的原理，那么接下来就是使用Python3实现该算法，依然以电影分类为例。

电影名称	打斗镜头	接吻镜头	电影类型
电影1	1	101	爱情片
电影1	1	101	爱情片
电影1	1	101	爱情片

(1)准备数据集

对于表中的数据，我们可以使用numpy直接创建，代码如下：

import numpy as np
 
"""
函数说明:创建数据集
 
Parameters:
    无
Returns:
    group - 数据集
    labels - 分类标签
"""
def createDataSet():
    #四组二维特征
    group = np.array([[1,101],[5,89],[108,5],[115,8]])
    #四组特征的标签
    labels = ['爱情片','爱情片','动作片','动作片']
    return group, labels
if __name__ == '__main__':
    #创建数据集
    group, labels = createDataSet()
    #打印数据集
    print(group)
    print(labels)

#output:
[[  1 101]
 [  5  89]
 [108   5]
 [115   8]] ['爱情片', '爱情片', '动作片', '动作片']

k-近邻算法

根据两点距离公式，计算距离，选择距离最小的前k个点，并返回分类结果。

"""
函数说明:kNN算法,分类器

Parameters:
	inX - 用于分类的数据(测试集)
	dataSet - 用于训练的数据(训练集)
	labes - 分类标签
	k - kNN算法参数,选择距离最小的k个点
Returns:
	sortedClassCount[0][0] - 分类结果
"""
def classify0(inx, dataset, labels, k):
	# 计算距离 
	dist = np.sum((inx - dataset)**2, axis=1)**0.5 #
	# k个最近的标签
	k_labels = [labels[index] for index in dist.argsort()[0 : k]]
	# 出现次数最多的标签即为最终类别
	label = collections.Counter(k_labels).most_common(1)[0][0]
	return label

其中dist为使用两点距离公式计算距离的到为[128.68954892 118.22436297 16.55294536 18.43908891]。

dist.argsort()为 [2 3 1 0]，其中argsort函数返回的是数组值从小到大的索引值。

collections.Counter(k_labels)为Counter({'动作片': 2, '爱情片': 1})，其中Counter()函数就是对数组中的元素进行统计。

most_common(n)函数用堆结构来实现Top n 功能。collections.Counter(k_labels).most_common(1)结果为[('动作片', 2)]，即取出次数最多的标签

collections.Counter(k_labels).most_common(1)
#[('动作片', 2)]

collections.Counter(k_labels).most_common(1)[0]
#('动作片', 2)

collections.Counter(k_labels).most_common(1)[0][0]
#'动作片'

测试

if __name__ == '__main__':
    #创建数据集
    group,labels = createDataSet()
    #测试集
    test  =  [101,20]    
 	#kNN分类
    test_class = classify0(test, group, labels, 3)
 	# #打印分类结果
 	print(test_class)

#结果为 动作片

可以看到，通过k-近邻算法分类结果为动作片。

到这里，也许有人早已经发现，电影例子中的特征是2维的，这样的距离度量可以用两 点距离公式计算，但是如果是更高维的呢？

在这里，我们可以用欧氏距离(也称欧几里德度量)，如图1.5所示。我们高中所学的两点距离公式就是欧氏距离在二维空间上的公式，也就是欧氏距离的n的值为2的情况。
d ( p , q ) = d ( q , p ) = ( q 1 − p 1 ) 2 + ( q 2 − p 2 ) 2 + . . . + ( q n − p n ) 2 = ∑ k = 1 N ( q k − p k