python实现knn算法总结

2018-08-18
第一次写博客
这两天学习机器学习，接触到了knn算法，希望通过笔记的方式整理自己的思路，以使自己对算法有更清晰的理解，第一次写博客，不足之处还望前辈指出

knn算法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
更详细的关于knn的讨论，请google

knn算法的描述：
1）选择训练样本和样本标签
2）计算测试数据与各个训练数据之间的距离；
3）按照距离的递增关系进行排序；
4）选取距离最小的K个点；
5）确定前K个点所在类别的出现频率；
6）返回前K个点中出现频率最高的类别作为测试数据的预测分类。

python实现：
1）选择训练样本和样本标签
训练样本:X_train
样本标签:y_train
2）计算测试数据与各个训练数据之间的距离；
def distance(a,b,p=2):
return np.sum(np.abs(a-b)p)(1/p)
distances = [distance(x , item , p = p) for item in X_train]
3）按照距离的递增关系进行排序；
np.argsort(distances)
4）选取距离最小的K个点；
nearest = np.argsort(distances)[:k]
5）确定前K个点所在类别的出现频率；
k_labels = y_train[nearest]
6）返回前K个点中出现频率最高的类别作为测试数据的预测分类。
return Counter(k_labels).most_common(1)[0][0]

汇总：

#

参数说明：

X_train ：训练样本

y_train:样本标签

X_predict：待测数据集

k：k近邻个数

p：距离

返回值：待测数据集分类预测结果

#

def knn_classify(X_train , y_train , X_predict , k = 5 , p = 2 ):
return np.array([knn_sub(X_train, y_train, x, k, p) for x in X_predict])

#

参数说明：

X_train ：训练样本

y_train:样本标签

x待测数据

k k近邻个数

p距离

返回值：待测数据的k个近邻中，出现频率最高的标签

#

def knn_sub(X_train , y_train , x , k , p):
distances = [distance(x , item , p = p) for item in X_train]
nearest = np.argsort(distances)[:k]
k_labels = y_train[nearest]

return Counter(k_labels).most_common(1)[0][0]

def distance(a,b,p=2):
return np.sum(np.abs(a-b)p)(1/p)

---