k近邻法:是一种基本分类与回归的方法。给定一个实例,在训练数据中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该实例分为这个类。
k近邻的三要素:k值的选择,距离度量方式和分类决策规则。
最近邻法:k=1时。
k近邻法特点:没有显式的学习过程,使用的模型实际上对应于对特征空间的划分。
单元(cell):特征空间中,对每个训练实例点,距离该点比其他点更近的所有点组成的的一个区域。
k值的选择:k减小:近似误差会减小,估计误差增大,模型变复杂,容易发生过拟合。k增大:近似误差会增大,估计误差会减小,模型变简单,可能会忽略实例中的有用信息。在应用中,一般取较小的k值,用交叉验证法来选取最优的k值。