K近邻算法 K近邻算法原理
k k k近邻算法介绍
- k k k近邻法 (k-Nearest Neighbor;kNN) 是一种比较成熟也是最简单的机器学习算法，可以用于基本的分类与回归方法
- 算法的主要思路：如果一个样本在特征空间中与k个实例最为相似(即特征空间中最邻近)，那么这 k k k个实例中大多数属于哪个类别，则该样本也属于这个类别对于分类问题:对新的样本，根据其 k k k个最近邻的训练样本的类别，通过多数表决等方式进行预测对于回归问题:对新的样本，根据其k个最近邻的训练样本标签值的均值作为预测值。
- k k k近邻法是基本且简单的分类与回归方法。 k k k近邻法的基本做法是：对给定的训练实例点和输入实例点，首先确定输入实例点的 k k k个最近邻训练实例点，然后利用这 k k k个训练实例点的类的多数来预测输入实例点的类。
- k k k近邻模型对应于基于训练数据集对特征空间的一个划分。 k k k近邻法中，当训练集、距离度量、 k k k值及分类决策规则确定后，其结果唯一确定。
k k k近邻法三要素
- 距离度量 $
- k$值的选择
- 分类决策规则。
- 常用的距离度量是欧氏距离。
- k k k值小时， k k k近邻模型更复杂； k k k值大时， k k k近邻模型更简单。
- k k k值的选择反映了对近似误差与估计误差之间的权衡，通常由交叉验证选择最优的 k k k。
- 常用的分类决策规则是多数表决，对应于经验风险最小化。
k k k近邻算法流程
- 计算测试对象到训练集中每个对象的距离
- 按照距离的远近排序
- 选取与当前测试对象最近的k的训练对象作为该测试对象的邻居
- 统计这k个邻居的类别频次
- k个邻居里频次最高的类别，即为测试对象的类别
篇末结尾
感谢您的观看，如果觉得还行，请点赞关注支持一下
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
