Knn算法有关知识

主要学习内容：

                        1.knn算法定义

                         2.算法原理

                         3.有关实例

                         4.总结

1.knn算法定义

邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。

KNN主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合

KNN 是 supervised learning， non parametric（无参数） instance-based（基于实例） learning algorithm.

K值选择、距离度量、以及分类决策(一般多数表决)为K近邻算法的三个基本要素。

2.算法原理

2.1 通用步骤

计算距离

升序排序（常用欧几里得距离或者马氏距离）

取前k个，加权平均

2.2 k的选取