K-近邻分类算法KNN

K-近邻（K-Nearest Neighbors, KNN）是一种很好理解的分类算法，简单说来就是从训练样本中找出K个与其最相近的样本，然后看这K个样本中哪个类别的样本多，则待判定的值（或说抽样）就属于这个类别。

KNN算法的步骤

• 计算已知类别数据集中每个点与当前点的距离；
• 选取与当前点距离最小的K个点；
• 统计前K个点中每个类别的样本出现的频率；
• 返回前K个点出现频率最高的类别作为当前点的预测分类。

OpenCV中使用CvKNearest

OpenCV中实现CvKNearest类可以实现简单的KNN训练和预测。

[cpp]  view plain copy

1. int main()  
2. {  
3.     float labels[10] = {0,0,0,0,0,1,1,1,1,1};  
4.     Mat labelsMat(10, 1, CV_32FC1, labels);  
5.     cout<<labelsMat<<endl;  
6.     float trainingData[10][2];  
7.     srand(time(0));   
8.     for(int i=0;i<5;i++){  
9.         trainingData[i][0] = rand()%255+1;  
10.         trainingData[i][1] = rand()%255+1;  
11.         trainingData[i+5][0] = rand()%255+255;  
12.         trainingData[i+5][1] = rand()%255+255;  
13.     }  
14.     Mat trainingDataMat(10, 2, CV_32FC1, trainingData);  
15.     cout<<trainingDataMat<<endl;  
16.     CvKNearest knn;  
17.     knn.train(trainingDataMat,labelsMat,Mat(), false, 2 );  
18.     // Data for visual representation  
19.     int width = 512, height = 512;  
20.     Mat image = Mat::zeros(height, width, CV_8UC3);  
21.     Vec3b green(0,255,0), blue (255,0,0);  
22.   
23.     for (int i = 0; i < image.rows; ++i){  
24.         for (int j = 0; j < image.cols; ++j){  
25.             const Mat sampleMat = (Mat_<float>(1,2) << i,j);  
26.             Mat response;  
27.             float result = knn.find_nearest(sampleMat,1);  
28.             if (result !=0){  
29.                 image.at<Vec3b>(j, i)  = green;  
30.             }  
31.             else    
32.                 image.at<Vec3b>(j, i)  = blue;  
33.         }  
34.     }  
35.   
36.         // Show the training data  
37.         for(int i=0;i<5;i++){  
38.             circle( image, Point(trainingData[i][0],  trainingData[i][1]),   
39.                 5, Scalar(  0,   0,   0), -1, 8);  
40.             circle( image, Point(trainingData[i+5][0],  trainingData[i+5][1]),   
41.                 5, Scalar(255, 255, 255), -1, 8);  
42.         }  
43.         imshow("KNN Simple Example", image); // show it to the user  
44.         waitKey(10000);  
45.   
46. }  

使用的是之前 BP神经网络中的例子，分类结果如下：

预测函数find_nearest()除了输入sample参数外还有些其他的参数：

[cpp]  view plain copy

1. float CvKNearest::find_nearest(const Mat& samples, int k, Mat* results=0,   
2. const float** neighbors=0, Mat* neighborResponses=0, Mat* dist=0 )  

即，samples为样本数*特征数的浮点矩阵；K为寻找最近点的个数；results与预测结果；neibhbors为k*样本数的指针数组（输入为const，实在不知为何如此设计）；neighborResponse为样本数*k的每个样本K个近邻的输出值；dist为样本数*k的每个样本K个近邻的距离。