KNN算法

1. knn K近邻算法原理

K近邻算法：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的的K个实例，这K个实例的多数属于某个类，就把该实例分为这个类。
K值选择、距离度量、以及分类决策(一般多数表决)为K近邻算法的三个基本要素。
1.1 通用步骤
（1）计算距离（常用欧几里得距离或者马氏距离）
（2）升序排列
（3）取前K个
（4）加权平均
1.2 K的选取
（1）K太大：导致分类模糊
（2）K太小：受个例影响，波动较大
1.3 如何选取K
（1）经验
（2）均方根误差

---

2.计算公式

（1）欧几里得距离的数学公式

（2）马氏距离公式

---

3.实战应用

代码：

准确率结果：