机器学习（一）KNN与Kmeans总结

一． 关于KNN算法（K近邻算法)

1.算法介绍：

如果一个样本在特征空间中的K个最相似（即特征空间中最近邻）的样本中的大多数属于一个类别，则这个样本也属于这个类别。

2.算法要点

a) K值的选择：K值的选择会对结果产生重大影响。较小的K值可以减少近似误差，但是会增加估计误差；较大的K值可以减少估计误差，但是会增加近似误差。一般而言，通常采用交叉验证法来选取最优的K值。

• 近似误差：可以理解为对现有训练集的训练误差，近似误差过小，可能出现过拟合现象。
• 估计误差：可以理解为对测试集的训练误差，估计误差较小说明对未知数据的预测能力较好。模型本身最接近最佳模型。

b)距离的度量：距离反映了空间中两个实例的相似程度。

c) 分类决策规则：采用多数表决。

二． 关于Kmeans算法

1.算法介绍

K-means是一种基于距离的迭代算法。它将n个观察实例分类到k个聚类中，以使得每个观察实例距离它所在的聚类中心点比其他的聚类中心点的距离更小。

2.Kmeans算法步骤

a) 所有的观测实例中随机抽出K个观测点，作为聚类中心点