浅谈机器学习的K-近邻算法

机器学习的K-近邻算法是一种监督学习的方法，是一种分类算法，其主要思想是：如果一个样本在特征空间中的k个最邻近的样本中的大多数属于某一个类别，则该样本也划分为这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。那么一般的将临近的几个样本数量设为k,那么k对结果的影响也很大。

def createDateSet():
    # 即前两个数据属于A类数据，后两个数据属于B类数据
    group =  array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group,labels

比如上述函数，有一个二维序列，和一个标签序列，那么抽象成一个坐标，就是这四个坐标分别对应labels里面的四个标签，于是，就给这四个坐标分成了两类，那么这就是训练数据，那么现在如果我要输入一组数据，机器就可以通过这组训练数据，从而达到识别这个数据处于哪一类的结果。
这里我们用最简单的k-近邻算法。
计算新的数据和训练的数据之间的距离，取距离最短的几个点，如果这个新的数据和临近的k个数据关系较近，那么我们就可以通过这k个数据的标签从而推断新的数据所属的类型即可。

这样，代码就可以表示为：

# 分类器
def classify0(inX, dataSet, labels, k):
    # 参数：inX：分类的输入向量，dataSet:训练样本，labels:标签 ，k  选择最近邻居的数目
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()
    classCount={}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.items(),
                              key=operator.itemgetter(1), 
                              reverse=True)
    # 返回k-邻近的出现频率最高的元素标签
    return sortedClassCount[0][0]

group,labels = createDateSet()
ans =   classify0([0,0], group, labels,  3)
print(ans)

机器学习的第一步，大家加油