机器学习——K-近邻算法

（一）K-近邻算法概述

1． 𝑘 近邻法是基本且简单的分类与回归方法。 𝑘 近邻法的基本做法是：对给定的训练实例点和输入实例点，首先确定输入实例点的 𝑘 个最近邻训练实例点，然后利用这 𝑘 个训练实例点的类的多数来预测输入实例点的类。

2． 𝑘 近邻模型对应于基于训练数据集对特征空间的一个划分。 𝑘 近邻法中，当训练集、距离度量、 𝑘 值及分类决策规则确定后，其结果唯一确定。

3． 𝑘 近邻法三要素：距离度量、 𝑘 值的选择和分类决策规则。常用的距离度量是欧氏距离及更一般的pL距离。 𝑘 值小时， 𝑘 近邻模型更复杂； 𝑘 值大时， 𝑘 近邻模型更简单。 𝑘 值的选择反映了对近似误差与估计误差之间的权衡，通常由交叉验证选择最优的 𝑘 。

常用的分类决策规则是多数表决，对应于经验风险最小化。

4． 𝑘 近邻法的实现需要考虑如何快速搜索k个最近邻点，并用分类决策规则确定最终点的归类。

---

（二）算法步骤
k-近邻算法步骤如下：

计算已知类别数据集中的点与当前点之间的距离；
按照距离递增次序排序；
选取与当前点距离最小的k个点；
确定前k个点所在类别的出现频率；
返回前k个点所出现频率最高的类别作为当前点的预测分类。
        使用K-近邻算法分类爱情片和动作片，图1-1显示了6部电影的打斗和接吻镜头数。我们可以使用KNN算法，对一部未看过的电影，确定它是爱情片还是动作片。

（三）代码实现 

# -*- coding: UTF-8 -*-
import collections
import numpy as np
def createDataSet():
	#四组二维特征
	group = np.array([[1,101],[5,89],[108,5],[115,8]])
	print(group)
	#四组特征的标签
	labels = ['爱情片','爱情片','动作片','动作片']
	return group, labels
def classify(inx, dataset, labels, k):
	# 计算距离  其实就是计算点一定之间的距离
	dist = np.sum((inx - dataset)**2, axis=1)**0.5

	#print("dist",dist)

	# k个最近的标签
	# dist.argsort 将x中的元素从小到大排列，提取其对应的index(索引)
	k_labels = [labels[index] for index in dist.argsort()[0 : k]]

	print('k_labels', k_labels)
	# 出现次数最多的标签即为最终类别
	#主要功能：可以支持方便、快速的计数，将元素数量统计，然后计数并返回一个字典，键为元素，值为元素个数。
	print('k_labels',collections.Counter(k_labels).most_common(1)[0][0])
	label = collections.Counter(k_labels).most_common(1)[0][0]
	return label

if __name__ == '__main__':
	#创建数据集
	group, labels = createDataSet()
	#测试集
	test = [55,20]
	#kNN分类
	#test_class = classify0(test, group, labels, 3)
	test_class = classify(test, group, labels, 3)
	#打印分类结果
	print(test_class)

---

（四）总结

优点：

1.k近邻算法理论简单，容易实现。

2.准确性高，对异常值和噪声有较高的容忍度

缺点：

1.k取值很小容易受异常点影响；k取值很小容易受数量波动影响