KNN学习笔记

KNN学习（K-Nearest Neighbors, KNN）是一种统计分类器，属于惰性学习，对包容型数据的特征变量筛选尤其有效。

1.基本原理

输入没有标签即未经分类的新数据，首先提取新数据的特征并与测试集中的每一个数据特征进行比较；然后从样本中提取k个最邻近（最相似）数据特征的分类标签，统计这k个最邻近数据中出现次数最多的分类，将其作为新数据的类别。

分类：KNN按照一定规则将相似的数据样本进行归类。

回归：得到待处理数据的k个最相似训练数据后，求取这些训练数据属性的平均值，并将该平均值作为待处理数据的属性值，这一求取待处理数据属性的过程被称为KNN学习中的回归。

OpenCV中CvKNearest类

class CV_EXPORTS_W CvKNearest : public CvStatModel
{
public:

    CV_WRAP CvKNearest();
    virtual ~CvKNearest();

    CvKNearest( const CvMat* trainData, const CvMat* responses,
                const CvMat* sampleIdx=0, bool isRegression=false, int max_k=32 );

    virtual bool train( const CvMat* trainData, const CvMat* responses,
                        const CvMat* sampleIdx=0, bool is_regression=false,
                        int maxK=32, bool updateBase=false );

    virtual float find_nearest( const CvMat* samples, int k, CV_OUT CvMat* results=0,
        const float** neighbors=0, CV_OUT CvMat* neighborResponses=0, CV_OUT CvMat* dist=0 ) const;

    CV_WRAP CvKNearest( const cv::Mat& trainData, const cv::Mat& responses,
               const cv::Mat& sampleIdx=cv::Mat(), bool isRegression=false, int max_k=32 );

    CV_WRAP virtual bool train( const cv::Mat& trainData, const cv::Mat& responses,
                       const cv::Mat& sampleIdx=cv::Mat(), bool isRegression=false,
                       int maxK=32, bool updateBase=false );

    virtual float find_nearest( const cv::Mat& samples, int k, cv::Mat* results=0,
                                const float** neighbors=0, cv::Mat* neighborResponses=0,
                                cv::Mat* dist=0 ) const;
    CV_WRAP virtual float find_nearest( const cv::Mat& samples, int k, CV_OUT cv::Mat& results,
                                        CV_OUT cv::Mat& neighborResponses, CV_OUT cv::Mat& dists) const;

    virtual void clear();
    int get_max_k() const;
    int get_var_count() const;
    int get_sample_count() const;
    bool is_regression() const;

    virtual float write_results( int k, int k1, int start, int end,
        const float* neighbor_responses, const float* dist, CvMat* _results,
        CvMat* _neighbor_responses, CvMat* _dist, Cv32suf* sort_buf ) const;

    virtual void find_neighbors_direct( const CvMat* _samples, int k, int start, int end,
        float* neighbor_responses, const float** neighbors, float* dist ) const;

protected:

    int max_k, var_count;
    int total;
    bool regression;
    CvVectors* samples;
};

2.算法改进

a.基于组合分类器的KNN改进算法

   常用的组合分类器方法有投票法、非投票法、动态法和静态法等。

b.基于核映射的KNN改进算法

c.基于预聚类的KNN改进算法

d.基于超球搜索的KNN改进算法

3.算法特点

KNN主要依赖待测样本周围有限领域内已知样本的特性，而不是判别类域的方法来确定待测样本的所属类别，因此特别适用于处理类域存在较多交叉或重叠的待分样本集的情况。

参考文献

【1】谢剑斌等著《视觉机器学习20讲》，2015

【2】http://blog.csdn.net/xiaowei_cqu/article/details/23782561