knn算法

knn算法(k-Nearest Neighbor algorithm).是一种经典的分类算法.

注意,不是聚类算法.所以这种分类算法必然包括了训练过程.

然而和一般性的分类算法不同,knn算法是一种懒惰算法.它并非

像其他的分类算法先通过训练建立分类模型.,而是一种被动的分类

过程.它是边测试边训练建立分类模型.

算法的一般描述过程如下:

1.首先计算每个测试样本点到其他每个点的距离.

这个距离可以是欧氏距离,余弦距离等.

2. 然后取出距离小于设定的距离阈值的点.

这些点即为根据阈值环绕在测试样本最邻近的点.

3.选出这些邻近点中比例最大的点簇的类.

那么就将概测试点归入此类.

注意：knn算法的开销很大,因为要计算每个样本点到其他所有点的距离.

    knn算法的距离一般要根据实际样本点的情况来选取.

    knn算法的距离阈值要根据样本的分散集中程度来选取.经验一般选取样本点集合的均方差.

    

下面是一个matlab中运用knn函数分类的例子.

<span class="pln" style="color: rgb(0, 0, 0);">clc</span><span class="pun" style="color: rgb(102, 102, 0);">;</span><span class="pln" style="color: rgb(0, 0, 0);">
clear</span><span class="pun" style="color: rgb(102, 102, 0);">;</span><span class="pln" style="color: rgb(0, 0, 0);">

load </span><span class="str" style="color: rgb(0, 136, 0);">'Train_Data.mat'</span><span class="pln" style="color: rgb(0, 0, 0);"> </span><span class="pun" style="color: rgb(102, 102, 0);">%载入训练数据</span><span class="pln" style="color: rgb(0, 0, 0);">

load </span><span class="str" style="color: rgb(0, 136, 0);">'Train_Label.mat'</span><span class="pln" style="color: rgb(0, 0, 0);"> </span><span class="pun" style="color: rgb(102, 102, 0);">%载入训练分类标签</span><span class="pln" style="color: rgb(0, 0, 0);">


test_data</span><span class="pun" style="color: rgb(102, 102, 0);">=[</span><span class="lit" style="color: rgb(0, 102, 102);">43</span><span class="pun" style="color: rgb(102, 102, 0);">;</span><span class="pln" style="color: rgb(0, 0, 0);">
           </span><span class="lit" style="color: rgb(0, 102, 102);">42</span><span class="pun" style="color: rgb(102, 102, 0);">;</span><span class="pln" style="color: rgb(0, 0, 0);">
           </span><span class="lit" style="color: rgb(0, 102, 102);">192</span><span class="pun" style="color: rgb(102, 102, 0);">;</span><span class="pln" style="color: rgb(0, 0, 0);">
           </span><span class="lit" style="color: rgb(0, 102, 102);">193</span><span class="pun" style="color: rgb(102, 102, 0);">];</span><span class="pln" style="color: rgb(0, 0, 0);">       </span><span class="pun" style="color: rgb(102, 102, 0);">%测试数据</span><span class="pln" style="color: rgb(0, 0, 0);">

</span><span class="pun" style="color: rgb(102, 102, 0);">%</span><span class="pln" style="color: rgb(0, 0, 0);">knnclassify</span><span class="pun" style="color: rgb(102, 102, 0);">为</span><span class="pln" style="color: rgb(0, 0, 0);">matlab</span><span class="pun" style="color: rgb(102, 102, 0);">提供的</span><span class="pln" style="color: rgb(0, 0, 0);">knn</span><span class="pun" style="color: rgb(102, 102, 0);">分类函数.</span><span class="pln" style="color: rgb(0, 0, 0);">
    </span><span class="pun" style="color: rgb(102, 102, 0);">%参数</span><span class="pln" style="color: rgb(0, 0, 0);">test_data</span><span class="pun" style="color: rgb(102, 102, 0);">是待分类的测试数据</span><span class="pln" style="color: rgb(0, 0, 0);">
    </span><span class="pun" style="color: rgb(102, 102, 0);">%</span><span class="typ" style="color: rgb(102, 0, 102);">Train_Data</span><span class="pun" style="color: rgb(102, 102, 0);">是用于</span><span class="pln" style="color: rgb(0, 0, 0);">knn</span><span class="pun" style="color: rgb(102, 102, 0);">分类器训练的数据</span><span class="pln" style="color: rgb(0, 0, 0);">
    </span><span class="pun" style="color: rgb(102, 102, 0);">%</span><span class="typ" style="color: rgb(102, 0, 102);">Train_Label</span><span class="pun" style="color: rgb(102, 102, 0);">是训练的分类标签</span><span class="pln" style="color: rgb(0, 0, 0);">
    </span><span class="pun" style="color: rgb(102, 102, 0);">%</span><span class="lit" style="color: rgb(0, 102, 102);">3</span><span class="pun" style="color: rgb(102, 102, 0);">,即为</span><span class="pln" style="color: rgb(0, 0, 0);">knn</span><span class="pun" style="color: rgb(102, 102, 0);">的</span><span class="pln" style="color: rgb(0, 0, 0);">k</span><span class="pun" style="color: rgb(102, 102, 0);">值.意思是取某个待分类测试样本点周围三个样本点</span><span class="pln" style="color: rgb(0, 0, 0);">
    </span><span class="pun" style="color: rgb(102, 102, 0);">%</span><span class="str" style="color: rgb(0, 136, 0);">'cosine'</span><span class="pun" style="color: rgb(102, 102, 0);">---为距离度量,这里采用余弦距离</span><span class="pln" style="color: rgb(0, 0, 0);">
    </span><span class="pun" style="color: rgb(102, 102, 0);">%</span><span class="str" style="color: rgb(0, 136, 0);">'random'</span><span class="pun" style="color: rgb(102, 102, 0);">---为分类规则.如何对</span><span class="pln" style="color: rgb(0, 0, 0);">k</span><span class="pun" style="color: rgb(102, 102, 0);">个临近点进行分类.</span><span class="pln" style="color: rgb(0, 0, 0);">
    </span><span class="pun" style="color: rgb(102, 102, 0);">%</span><span class="pln" style="color: rgb(0, 0, 0);"> </span><span class="str" style="color: rgb(0, 136, 0);">'k'</span><span class="pun" style="color: rgb(102, 102, 0);">--即为对测试数据的</span><span class="pln" style="color: rgb(0, 0, 0);">knn</span><span class="pun" style="color: rgb(102, 102, 0);">分类结果的类标签</span><span class="pln" style="color: rgb(0, 0, 0);">

k</span><span class="pun" style="color: rgb(102, 102, 0);">=</span><span class="pln" style="color: rgb(0, 0, 0);">knnclassify</span><span class="pun" style="color: rgb(102, 102, 0);">(</span><span class="pln" style="color: rgb(0, 0, 0);">test_data</span><span class="pun" style="color: rgb(102, 102, 0);">,</span><span class="typ" style="color: rgb(102, 0, 102);">Train_Data</span><span class="str" style="color: rgb(0, 136, 0);">',Train_Label'</span><span class="pun" style="color: rgb(102, 102, 0);">,</span><span class="lit" style="color: rgb(0, 102, 102);">3</span><span class="pun" style="color: rgb(102, 102, 0);">,</span><span class="str" style="color: rgb(0, 136, 0);">'euclidean'</span><span class="pun" style="color: rgb(102, 102, 0);">,</span><span class="str" style="color: rgb(0, 136, 0);">'random'</span><span class="pun" style="color: rgb(102, 102, 0);">);</span>

Train_Data.mat截图如下：

Train_Label.mat截图如下：

k结果截图如下:

转载请注明作者：小刘

[ 文章出处： http://blog.csdn.net/u013018721/article/details/38060653]