机器学习之KNN算法

机器学习之KNN算法

原理

KNN的原理非常简单,在训练样本集中,知道每个数据的标签,那么输入未标注的新数据时,将新数据的每个特征与训练样本数据对应的特征进行比较,然后算法提取样本集中特征最相似的数据(最近邻)的分类标签,作为新数据的标签。
 一般来说,我们选择样本数据集中前K个(一般不大于20)最相似的数据(这就是K-近邻的出处),选择K个最相似数据中出现次数最多的分类标签,作为新数据的分类标签。 

伪代码

1、计算已知类别属性的数据中的点与当前需要预测点之恋的距离;
2、按照距离递增次序排列(距离越小,越相似);
3、选择与当前点距离最小的K个点;
4、确定前K个点所在类别出现的频率;
5、返回前K个点出现频率最高的类别作为当前点的预测分类;


Python 代码实现

K-近邻算法
python3.6
def classify0(inX,dataSet, labels ,k):
dataSetSize = dataSet.shape[0] #shape 是numpy数据库中的函数,用于计算矩阵的行和列,[0]代替行数,[1]代表列数
diffMat = tile(inX, (dataSetSize,1)) - dataSet #tile(A,rep)函数为重复A的各个维度,rep重复的次数
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis = 1)
distances = sqDistances **0.5
sortedDistIndicies = distances.argsort() # 计算两个数据间的欧式距离
classCount = {}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel, 0 ) +1
sortedClassCount = sorted( classCount.items(), key = operator.itemgetter(1) , reverse =True)
# classCount.items()将字典分解为元祖列表,
# operator.itemgetter(1) 代表获取对象的第一个域的值
return sortedClassCount[0][0]

处理不同取值范围的特征值时,需要进行归一化处理
def autoNorm(dataSet):
minVals = dataSet.min(0) #最小特征值
maxVals = dataSet.max(0) #最大特征值
ranges = maxVals - minVals #特征值变化范围
normDataSet = zeros(shape(dataSet))
m = dataSet.shape[0]
normDataSet = dataSet - tile(minVals, (m,1))
normDataSet = normDataSet/tile(ranges, (m,1)) #element wise divide,归一化特征值矩阵
return normDataSet, ranges, minVals

©️2020 CSDN 皮肤主题: 技术工厂 设计师:CSDN官方博客 返回首页