1. CH2-kNN(1)
2. CH2-kNN(2)
3. CH2-kNN(3)
4. CH3-决策树(1)
5. CH3-决策树(2)
6. CH3-决策树(3)
7. CH4-朴素贝叶斯(1)
8. CH4-朴素贝叶斯(2)
9. CH5-Logistic回归(1)
10. CH5-Logistic回归(2)
======== No More ========
k-近邻算法(k-nearest neighbors algorithm,KNN)
(1)是个【分类】算法。是个最简单、最基础的算法。
(2)基本思想:通过测量特征值之间的距离(欧氏距离)给数据进行分类。
(3)详细点儿说:
a.训练样本集中的每条数据都有一个标签
b.输入一条待分类的数据。把它的每个特征和样本集中数据对应的特征进行距离比较
c.选择最相似(距离最短)的前k条数据,看这k条数据哪个标签最多,就把待分类的数据分到哪个标签下。
(4)优点:精度高、对异常值不敏感
缺点:复杂度高
适用范围:数值型 / 离散型 数据
------------------------------------------------------------------------------------------------
第一个例子很简单。每条数据就2个特征(2维),就叫特征1和特征2好了。
然后每条数据配一个标签,标签的种类有2种:A和B。
第一步是导入数据,这个数据呢我们就直接从代码里拿到手,后面的例子会从文件里抠出来,而且会做些预处理。
#!/usr/bin/python
#coding:utf-8
from numpy import *
import operator
def createDataSet():
group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0,0.1]])
labels = ['A', 'A', 'B', 'B',]
return group, labels
作用很简单,就是把数据存在group里,把标签存在labels里。
要注意的是,group其实是个矩阵,它的类型是numpy包里的array。往后的数据集都是用矩阵,也就是array类型来表示。labels则是个常见的list类型。
group是个4*2的矩阵,代表有四条数据,每条数据有2维。接下来这段代码就是用于分类的函数。
def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0]
diffMat = tile(inX, (dataSetSize,1)) - dataSet
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances**0.5
sortedDistIndices = distances.argsort()
classCount={}
for i in range(k):
voteIlabel = labels[sortedDistIndices[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
sortedClassCount = sorted(classCount.iteritems(), key = operator.itemgetter(1),reverse=True)
return sortedClassCount[0][0]
解释一下。
classify0 接受四个参数:
(1)inX: 待分类的数据。例:[0,0]
(2)dataSet: 训练集矩阵。例:
[[1.0, 1.1],
[1.0, 1.0],
[0.0, 0.0],
[0.0, 0.1]]
(3)labels: 训练集对应的标签。例: ['A', 'A', 'B', 'B',]
(4)k: k邻近的k
第2行:shape 是 array的每一维的大小,比如上面那个矩阵,是4*2的,shape[0]就是4,也就是说dataSetSize是数据集的数据条数4。
第3行:tile() 作用是按行 / 列复制array。例:tile(inX, (4,1))将[0,0] 复制为:
[[0, 0],
[0, 0],
[0, 0],
[0, 0]]
再按矩对应元素阵减去dataSet,之后得到:
diffMat
[[-1.0, -1.1],
[-1.0, -1.0],
[-0.0, -0.0],
[-0.0, -0.1]]
第4~6行:矩阵的每一行,平方,求和,开方,求欧氏距离。分别得到:
sqDiffMat
[[ 1. , 1.21],
[ 1. , 1. ],
[ 0. , 0. ],
[ 0. , 0.01]]
sqDistances
[2.21, 2.0, 0.0, 0.01]
distances
[1.49, 1.41, 0.0, 0.1]
第7行:用 argsort 得到这四个距离的大小次序:[2, 3, 1, 0]。意思就是下标2的排第1,下标3的排第2,下标1的排第3,下标0的排第4
接下来就是统计标签。把距离最小的前k条数据的标签拿出来计数,并从大到小排序,决出最有可能的标签
classCount 是个字典,键是标签(A或B),值是标签的计数。
通后得到 classCount:{'A': 1, 'B': 2}
然后按值的大小排序,得到 sortedClassCount :[('B', 2), ('A', 1)]
取 sortedClassCount[0][0] 就是 'B'
主函数:
if __name__ == "__main__":
group,labels = createDataSet()
print classify0([0, 0], group, labels, 3)