图像内容分类

本次关于图像分类的实验，一共分为以下三个部分：
1.K邻近分类法（KNN）
2.用稠密SIFT为图像特征
3.图像分类：手势识别
一、实验原理
K邻近分类法
在分类方法中最简单且用得最多的一种方法之一就是KNN,简单地说，k-近邻算法采用测量不同特征值之间的距离方法进行分类。
k-近邻算法是一种基本分类与回归方法；它是是监督学习中分类方法的一种，属于懒散学习法（惰性学习方法）。
存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

KNN算法的一般流程
（1）收集数据：可以使用任何方法。
（2）准备数据：距离计算所需要的数值，最好是结构化的数据格式。
（3）分析数据：可以使用任何方法。
（4）训练算法：此步骤不适用于k-近邻算法。
（5）测试算法：计算错误率。
（6）使用算法：首先需要输入样本数据和结构化的输出结果，然后运行KNN算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续处理

用稠密SIFT为图像特征
在整幅图像上用一个规则的网格应用SIFT描述算子可以得到稠密SIFT的表示形式。
（以下参考： https://blog.csdn.net/breeze5428/article/details/25055291 ）
dense SIFT与做特征匹配所用到的SIFT的不同点。dense SIFT是提取我们感兴趣的patches中的每个位置的SIFT特征。而通常做特征匹配的SIFT算法只是得到感兴趣区域或者图像上若干个稳定的关键点的SIFT特征。目前关于dense SIFT提取比较流行的做法是，拿一个size固定的掩模或者bounding box，以一定的步长（stepsize）在图像上自左向右、从上到下提取dense SIFT的patch块。

手势识别
手势识别主要是用稠密SIFT描述子来表示这些手时图像，并建立一个简单的手势识别系统

二、代码及其实现
1、KNN
下面的脚本将创建两个不同的二维点集，每个点集有两类，用Pickle模块来保存创建的数据

# -*- coding: utf-8 -*-
from numpy.random import randn
import pickle
from pylab import *

# create sample data of 2D points
n =400
# two normal distributions
class_1 = 0.6 * randn(n,2)
class_2 = 1.2 * randn(n,2) + array([5,1])
labels = hstack((one