本文介绍了K近邻法（KNN），包括其模型、基本要素如k值选择、距离度量和分类决策规则，以及k近邻法的实现方式如kd树的构造和搜索。还探讨了KNN算法的特点，如精度高、对异常值不敏感，但计算复杂度高。
【K近邻法】
1968年由Cover和Hart提出。
k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。
k近邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。
1.模型
2.三个基本要素
k近邻法三要素：k值得选择、距离度量和分类决策规则。
2.1 k值的选择
k值小——学习的近似误差（approximation error）小，学习的估计误差（estimation error）大。模型复杂，易过拟合。
k值大——学习的近似误差（approximation error）大，学习的估计误差（estimation error）小。模型简单。
2.2 距离度量
Lp距离、欧式距离、曼哈顿距离：
由不同的距离度量所确定的最近邻点是不同的。
2.3 分类决策规则
多数表决：由输入实例的k个邻近的训练实例中的多数类决定
最低0.47元/天 解锁文章
679
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
