【计算机视觉】图像内容分类：K邻近分类法（KNN）

目录

 

一、K邻近分类法（KNN）

1.1 knn算法概述

1.2 knn算法基本思想

1.3 knn算法方法

1.4 knn算法步骤

二、实现代码及结果分析 

2.1 knn

2.2 二维示例

2.3 图像特征-稠密SIFT 

 2.4 图像分类：手势识别

---

一、K邻近分类法（KNN）

1.1 knn算法概述

  K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。

1.2 knn算法基本思想

  KNN算法的基本思想是：把待分类文本表示成文本向量，与训练样本组成的样本空间中的向量计算相似度，得到k篇与该文本距离最近（最相似）的文本，根据这k篇文本所属的类别判定新文本所属的类别，在新文本的k个邻居中依次计算每类的权重，将文本分到权重最大的类中。

1.3 knn算法方法

• 目标：分类未知类别案例。
• 输入：待分类未知类别案例项目。已知类别案例集合D ，其中包含 j个已知类别的案例。
• 输出：项目可能的类别。

1.4 knn算法步骤

1. 依公式计算 Item 与 D1、D2 … …、Dj 之相似度。得到Sim(Item, D1)、Sim(Item, D2)… …、Sim(Item, Dj)。
2. 将Sim(Item, D1)、Sim(Item, D2)… …、Sim(Item, Dj)排序，若是超过相似度门槛t则放入邻居案例集合NN。
3. 自邻居案例集合NN中取出前k名，依多数决，得到Item可能类别。

---

二、实现代码及结果分析 

2.1 knn

给定训练样本集和对应的标记列表，定义一个类并用训练数据初始化

from numpy import * 
class KnnClassifier(object):
    def __init__(self,labels,samples):
        """ Initialize classifier with training data. """
        
        self.labels = labels
        self.samples = samples
    def classify(self,point,k=3):
        """ Classify a point against k nearest 
            in the training data, return label. """
        
        # compute distance to all training points
        dist = array([L2dist(point,s) for s in self.samples])
        
        # sort them
        ndx = dist.argsort()
        
        # use dictionary to store the k nearest
        votes = {}
        for i in range(k):
            label = self.labels[ndx[i]]
            votes.setdefault(label,0)
            votes[label] += 1
            
        return max(votes, key=lambda x: votes.get(x))
def L2dist(p1,p2):
    return sqrt( sum( (p1-p2)**2) )