学习Machine Leaning In Action（二）：kNN

kNN算法又称为k最近邻算法，是各种分类算法中较简单的一种（有可能是最简单的）。他的思路很好理解，即将待分类向量和所有已知向量求距离，再统计k个最小距离向量所属的类型，最多的类型即为待分类向量的类型。虽然简单，但它的效果却不差，kNN具有较高的准确度，对outliers不敏感，同时对所用的数据类型没有任何要求，使用非常简单。目前kNN常用在文本分类等任务中。

在kNN算法中，最重要的也许就是距离函数了，一般常用欧氏距离作为两个向量的度量：

但这不是一定的，可以用来度量距离的函数有很多，比如在文本分类的应用中，常用的就是余弦距离：

在实际使用kNN的过程中，归一化是必须注意的。由于kNN对数据没有要求，因此不同向量元素间的取值差异可能很大，取值大的元素权重就大，削弱了其他元素的作用，导致分类效果劣化。如下，第一项和第三项的值几乎可以忽略了：

归一化方法也很多，不过最简单也最常用的就是下式所定义的计算方法：

其中min和max分别是所有向