KNN和K-means的区别 为什么KNN算法里的K越小模型会越复杂？ 过拟合和欠拟合的偏差和方差问题

这里将这三个问题在一起讲，仅仅是因为自己觉得有些联系，而且正好自己概念有些模糊。

1. KNN 和 K-means的区别：参考https://www.cnblogs.com/nucdy/p/6349172.html

1.1 KNN介绍：

KNN的算法过程是是这样的：

从上图中我们可以看到，图中的数据集是良好的数据，即都打好了label，一类是蓝色的正方形，一类是红色的三角形，那个绿色的圆形是我们待分类的数据。

如果K=3，那么离绿色点最近的有2个红色三角形和1个蓝色的正方形，这3个点投票，于是绿色的这个待分类点属于红色的三角形。

如果K=5，那么离绿色点最近的有2个红色三角形和3个蓝色的正方形，这5个点投票，于是绿色的这个待分类点属于蓝色的正方形。

1.2 K-means介绍：

如图所示，数据样本用圆点表示，每个簇的中心点用叉叉表示。(a)刚开始时