KNN算法和KD树
KNN算法的思路非常简单,对于新的样本,找出距其最近的k个样本,再根据这k个样本的类别,通过多数投票的方式预测新样本的类别。k近邻算法没有学习或训练过程。但k近邻算法仍有很多值得关注的地方,比如超参数k值的选择、距离的度量方式、决策规则以及快速检索k近邻的算法(kd树等)。
1. KNN算法的三要素
KNN算法的流程非常简单,确定一个KNN算法,明确下来三个基本要素即可。即k值的选择、距离的度量方式和决策规则。
1.1 k值的选择
在KNN算法中k值即表示对于一个新的样本,从训练集中选择和新样本距离最近的k个样本,用这k个样本决定新样本的类别。k值作为一个超参数,很慢明确给出一个合适的值,k取的过大或过小都会导致算法误差增大。一般可以采用留取验证集的方式确定k值的大小。即选择使得验证集准确率最高的k值。
1.2 距离度量方式
计算样本之间的距离时,有不同的距离计算方式,常用是欧式距离,也可以采用更一般的LpLp距离。LpLp距离:Lp(xi,xj)=(∑nk∣∣xki−xkj∣∣p)1pLp(xi,xj)=(∑kn|xik−xjk|p)1p
欧式距离是LpLp距离的特殊情况,即p=2p=2时:欧式距离:L2(xi,xj)=∑nk∣∣xki−xkj∣∣2−−−−−−−−−−−√L2(xi,xj)=∑kn|xik−xjk|2
另外,还有曼哈顿距离(也称之为街区距离),也是LpLp距离的特殊情况,即p=1p=1时的情况。曼哈顿距离:L1(xi,xj)=∑nk∣∣xki−xkj∣∣L1(xi,xj)=∑kn|xik−xjk|
若