KNN 近邻算法

@page { margin: 2cm }
p { margin-bottom: 0.25cm; line-height: 120% }
a:link { so-language: zxx }

机器学习实战：

KNN算法 本章内容来至于《统计学习与方法》李航，《机器学习》周志华，以及《机器学习实战》Peter HarringTon，相互学习，不足之处请大家多多指教

1.1 KNN算法的优缺点

1.2 KNN算法的工作机制

1.3 KNN算法的python实现

1.4 我对KNN算法的理解

1.1 KNN算法的优缺点

优点：KNN算法是 1.2 KNN算法的工作机制 KNN算法，给定测试样本，基于某种距离度量找到训练集中最靠近的K个训练样本，然后基于这K个邻居的信息来进行预测，通常在分类任务重可以使用“投票法”，即选择这K个样本中出现最多的类别标记作为预测结果，在回归任务中可以使用平均分，将k个样本的实值输出标记的平均值作为预测值，或者是积极与距离远近进行加权平均或者加权投票，距离越近的样本权重越大。—–周志华 《机器学习P225页》

距离度量K近邻模型中，K近邻的特征空间一般是n维的实数向量空间$R^n$,通常使用的是欧式距离，但是也可以使用其他的距离，如更一般的$L_P$ 距离或者曼哈顿距离，欧氏距离可以认为是$L_P$ 距离P等于2的情况 $L_P$ 距离的定义 设特征空间X是n维实数向量空间$R^n$,$x_i$,$x_j$ 属于空间X，$x_i=</span></span></span></font></font></font></span></span></font></font><span style="font-variant: normal"><font color="#808080"><span style="letter-spacing: normal"><font face="microsoft yahei"><font size="3" style="font-size: 12pt"><span style="font-style: normal"><span style="font-weight: normal">（）</span></span></font></font></span></font></span><font face="Liberation Serif, serif"><font size="3" style="font-size: 12pt"><span lang="en-US"><span style="font-variant: normal"><font color="#808080"><font face="microsoft yahei"><font size="3" style="font-size: 12pt"><span style="letter-spacing: normal"><span style="font-style: normal"><span style="font-weight: normal">$