k近邻算法进行图片分类

K-近邻算法步骤：

对于未知类别属性数据集中的点：

1. 计算已知类别数据集中的点与当前点的距离
2. 按照距离依次排序
3. 选取与当前点距离最小的K个点
4. 确定前K个点所在类别的出现概率
5. 返回前K个点出现频率最高的类别作为当前点预测分类。

概述：

• KNN 算法本身简单有效，它是一种 lazy-learning 算法。
• 分类器不需要使用训练集进行训练，训练时间复杂度为0。
• KNN 分类的计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为 n，那么 KNN 的分类时间复杂度为O(n)。

K 值的选择，距离度量和分类决策规则是该算法的三个基本要素

问题：该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的 K 个邻居中大容量类的样本占多数

解决：不同的样本给予不同权重项

 

参考：

机器学习算法整理（八）— K-近邻算法以及图像分类应用

https://www.cnblogs.com/douzujun/p/9035923.html

【计算机视觉之三】运用k近邻算法进行图片分类

https://blog.csdn.net/qq_39422642/article/details/78630140

及CS231n视频