机器学习实战ByMatlab（一）KNN算法

【原创】Liu_LongPo 转载请注明出处
【CSDN】http://blog.csdn.net/llp1992

KNN 算法其实简单的说就是“物以类聚”，也就是将新的没有被分类的点分类为周围的点中大多数属于的类。它采用测量不同特征值之间的距离方法进行分类，思想很简单：如果一个样本的特征空间中最为临近（欧式距离进行判断）的K个点大都属于某一个类，那么该样本就属于这个类。这就是物以类聚的思想。

当然，实际中，不同的K取值会影响到分类效果，并且在K个临近点的选择中，都不加意外的认为这K个点都是已经分类好的了，否则该算法也就失去了物以类聚的意义了。

KNN算法的不足点：

1、当样本不平衡时，比如一个类的样本容量很大，其他类的样本容量很小，输入一个样本的时候，K个临近值中大多数都是大样本容量的那个类，这时可能就会导致分类错误。改进方法是对K临近点进行加权，也就是距离近的点的权值大，距离远的点权值小。
2、计算量较大，每个待分类的样本都要计算它到全部点的距离，根据距离排序才能求得K个临近点，改进方法是：先对已知样本点进行剪辑，事先去除对分类作用不大的样本。

适用性：

适用于样本容量比较大的类域的自动分类，而样本容量较小的类域则容易误分

算法描述：

    1、计算已知类别数据集合汇总的点与当前点的距离
    2、按照距离递增次序排序
    3、选取与当前点距离最近的K个点
    4、确定距离最近的前K个点所在类别的出现频率
    5、返回距离最近的前K个点中频率最高的类别作为当前点的预测分类

Python 实现

from numpy import *
import operator

def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    lables = ['A','A','B','B']
    return group,lables

# KNN 分类算法
def classify0(inx,dataSet,labels,k):
    dataSetSize = dataSet.shape[0] # shape[0]获取行 shape[1] 获取列
    # 第一步，计算欧式距离
    diffMat = tile(inx,(dataSetSize,1)) - dataSet  #tile类似于matlab中的repmat，复制矩阵
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=