机器学习-k近邻法

k近邻法：是一种基本分类与回归的方法。给定一个实例，在训练数据中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该实例分为这个类。

k近邻的三要素：k值的选择，距离度量方式和分类决策规则。

最近邻法：k=1时。

k近邻法特点：没有显式的学习过程，使用的模型实际上对应于对特征空间的划分。

单元（cell）:特征空间中，对每个训练实例点，距离该点比其他点更近的所有点组成的的一个区域。

k值的选择：k减小：近似误差会减小，估计误差增大，模型变复杂，容易发生过拟合。k增大：近似误差会增大，估计误差会减小，模型变简单，可能会忽略实例中的有用信息。在应用中，一般取较小的k值，用交叉验证法来选取最优的k值。