【计算机视觉】图像内容分类

---

一、K邻近分类法（KNN）

（一）KNN概述

KNN算法是机器学习里面比较简单的一个分类算法。它通过测量不同特征值之间的距离来进行分类。

KNN算法的思想：对于任意n维输入向量，分别对应于特征空间中的一个点，输出为该特征向量所对应的类别标签或预测值。

KNN算法的工作原理：KNN是通过测量不同特征值之间的距离（一般使用欧氏距离或曼哈顿距离）进行分类。它的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

如下图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。

说明了KNN算法的结果很大程度取决于K的选择。

（二）KNN步骤

1、准备样本数据集（样本中每个数据都已经分好类，并具有分类标签）；
2、使用样本数据进行训练；
3、输入测试数据A；
4、计算A与样本集的每一个数据之间的距离；
5、按照距离递增次序排序；
6、选取与A距离最小的k个点；
7、计算前k个点所在类别的出现频率；
8、返回前k个点出现频率最高的类别作为A的预测分类。

（三）实验过程（包含代码）

1、创建两个不同的二维点集，一个用来训练，一个用来测试。

from numpy.random import randn
import pickle
from pylab import *

#创建二维样本数据
n = 100
# 两个正态分布数据集
class_1 = 0.9 * randn(n,2)
class_2 = 1.8 * randn(n,2) + array([5,1])
labels = hstack((ones(n),-ones(n)))

# 用Pickle模块保存
with open('points_normal.pkl', 'wb') as f:
    pickle.dump(class_1,f)
    pickle.dump(class_2,f)
    pickle.dump(labels,f)

print ("save OK!")

#正态分布，并使数据成环绕状分布
class_1 = 0.2 * randn(n,2)
r = 0.5 * randn(n,1) + 5
angle = 2*pi * randn(n,1)
class_2 = hstack((r*cos(angle),r*sin(angle)))
labels = hstack((ones(n),-ones(n)))

# 用Pickle保存
with open('points_ring.pkl', 'wb') as f:
    pickle.dump(class_1,f)
    pickle.dump(class_2,f)
    pickle.dump(labels,f)
    
print ("save OK!")

#得到4个二维数据集文件，每个分布都有两个文件，一个用来训练，另一个用来测试

注意：因为要得到两个数据集，所以应该用不同的保存文件名运行该脚本两次。

此时文件夹生成数据集为

2、使用KNN分类器对数据进行分类

# 使用KNN分类器
import