《机器学习实战》第二章：k-近邻算法（1）简单KNN

本文链接：https://blog.csdn.net/charlielincy/article/details/62236722

1. CH2-kNN（1）
2. CH2-kNN（2）
3. CH2-kNN（3）
4. CH3-决策树（1）
5. CH3-决策树（2）
6. CH3-决策树（3）
7. CH4-朴素贝叶斯（1）
8. CH4-朴素贝叶斯（2）
9. CH5-Logistic回归（1）
10. CH5-Logistic回归（2）
======== No More ========

k-近邻算法（k-nearest neighbors algorithm，KNN）

（1）是个【分类】算法。是个最简单、最基础的算法。

（2）基本思想：通过测量特征值之间的距离（欧氏距离）给数据进行分类。

（3）详细点儿说：

a.训练样本集中的每条数据都有一个标签

b.输入一条待分类的数据。把它的每个特征和样本集中数据对应的特征进行距离比较

c.选择最相似（距离最短）的前k条数据，看这k条数据哪个标签最多，就把待分类的数据分到哪个标签下。

（4）优点：精度高、对异常值不敏感

缺点：复杂度高

适用范围：数值型 / 离散型数据

------------------------------------------------------------------------------------------------

第一个例子很简单。每条数据就2个特征（2维），就叫特征1和特征2好了。

然后每条数据配一个标签，标签的种类有2种：A和B。

第一步是导入数据，这个数据呢我们就直接从代码里拿到手，后面的例子会从文件里抠出来，而且会做些预处理。

#!/usr/bin/python
#coding:utf-8

from numpy import *
import operator

def createDataSet():
	group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0,0.1]])
	labels = ['A', 'A', 'B', 'B',]
	return group, labels

作用很简单，就是把数据存在group里，把标签存在labels里。

要注意的是，group其实是个矩阵，它的类型是numpy包里的array。往后的数据集都是用矩阵，也就是array类型来表示。labels则是个常见的list类型。

group是个4*2的矩阵，代表有四条数据，每条数据有2维。接下来这段代码就是用于分类的函数。

def classify0(inX, dataSet, labels, k):
	dataSetSize = dataSet.shape[0]
	diffMat = tile(inX, (dataSetSize,1)) - dataSet
	sqDiffMat = diffMat**2
	sqDistances = sqDiffMat.sum(axis=1)
	distances = sqDistances**0.5
	sortedDistIndices = distances.argsort()
	classCount={}
	for i in range(k):
		voteIlabel = labels[sortedDistIndices[i]]
		classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
	sortedClassCount = sorted(classCount.iteritems(), key = operator.itemgetter(1),reverse=True)
	return sortedClassCount[0][0]

解释一下。

classify0 接受四个参数：

（1）inX: 待分类的数据。例：[0,0]
（2）dataSet: 训练集矩阵。例：
[[1.0, 1.1],
[1.0, 1.0],
[0.0, 0.0],
[0.0, 0.1]]
（3）labels: 训练集对应的标签。例： ['A', 'A', 'B', 'B',]
（4）k: k邻近的k

第2行：shape 是 array的每一维的大小，比如上面那个矩阵，是4*2的，shape[0]就是4，也就是说dataSetSize是数据集的数据条数4。

第3行：tile () 作用是按行 / 列复制array。例：tile(inX, (4,1))将[0,0] 复制为：

  [[0, 0],
   [0, 0],
   [0, 0],
   [0, 0]]
再按矩对应元素阵减去dataSet，之后得到：

diffMat
[[-1.0, -1.1],
[-1.0, -1.0],
[-0.0, -0.0],
[-0.0, -0.1]]

第4~6行：矩阵的每一行，平方，求和，开方，求欧氏距离。分别得到：

sqDiffMat

  [[ 1. , 1.21],
   [ 1. , 1. ],
   [ 0. , 0. ],
   [ 0. , 0.01]]

sqDistances

[2.21, 2.0, 0.0, 0.01]

distances

[1.49, 1.41, 0.0, 0.1]

第7行：用 argsort 得到这四个距离的大小次序：[2, 3, 1, 0]。意思就是下标2的排第1，下标3的排第2，下标1的排第3，下标0的排第4

接下来就是统计标签。把距离最小的前k条数据的标签拿出来计数，并从大到小排序，决出最有可能的标签

classCount 是个字典，键是标签（A或B），值是标签的计数。

通后得到 classCount：{'A': 1, 'B': 2}

然后按值的大小排序，得到 sortedClassCount ：[('B', 2), ('A', 1)]

取 sortedClassCount[0][0] 就是 'B'

主函数：

if __name__ == "__main__":
	group,labels = createDataSet()
	print classify0([0, 0], group, labels, 3)