本文介绍了KNN（K近邻）模型，包括距离度量如曼哈顿距离和欧式距离，K值选择的影响，以及分类决策规则。K值的大小会影响预测结果，小K值可能导致过拟合，大K值可能导致欠拟合。KNN算法的实现涉及快速K近邻搜索，kd树能提高搜索效率。最后，文章引发了对KNN模型复杂度和过拟合问题的思考。
上上一章已经学习了感知机模型、策略和算法，感知机对于分类任务有着其优点，但是该模型是在具有强假设的条件下——训练数据集必须是线性可分的，但是如果数据集是呈现无规则的分布，那么此时如果要做分类任务，还可以考虑k近邻（KNN），这是一种基本的分类和回归方法，既可以做简单的二分类也可以做复杂的多分类任务，还可以做回归任务。
KNN模型
KNN模型实际上对应于对特征空间的划分，虽然没有具体的数学抽象语言描述，但是仍然存在其三要素：距离度量、K值的选择、分类决策规则。
距离度量
设 特 征 空 间 χ 是 n 维 实 数 向 量 空 间 R n , x i , x j ∈ χ , x i = ( x i ( 1 ) , x i ( 2 ) , x i ( 3 ) . . . , x i ( n ) ) T , x j = ( x j ( 1 ) , x j ( 2 ) , x j ( 3 ) . . . , x j ( n ) ) T , x i , x j 的 距 离 可 定 义 为 ： L P ( x i , x j ) = ( ∑ l = 1 n ∣ x i ( l ) − x j ( l ) ∣ p ) 1 p 一 般 地 ， 当 p = 1 时 ， L 1 ( x i , x j ) = ( ∑ l = 1 n ∣ x i ( l ) − x j ( l ) ∣ ) , 称 为 曼 哈 顿 距 离 ; 当 p = 2 时 ， L 2 ( x i , x j ) = ( ∑ l = 1 n ∣ x i ( l ) − x j ( l ) ∣ 2 ) 1 2 , 其 实 形 式 上 也 是 L 2 范 数 ， 称 为 欧 式 距 离 ， 平 常 使 用 的 比 较 多 ; 当 p = ∞ , 它 是 各 个 坐 标 距 离 的 最 大 值 ， 即 为 : L ∞ ( x i , x j ) = m a x ∣ x i ( l ) − x j ( l ) ∣ 设特征空间\chi是n维实数向量空间R^n,x_i,x_j \in \chi,x_i=(x_i^{(1)},x_i^{(2)},x_i^{(3)}...,x_i^{(n)})^T,\\ x_j=(x_j^{(1)},x_j^{(2)},x_j^{(3)}...,x_j^{(n)})^T,x_i,x_j的距离可定义为：\\ L_P(x_i,x_j)=(\sum^n_{l=1}|x_i^{(l)}-x_j^{(l)}|^p)^{\frac{1}{p}}\\ 一般地，当p=1时，L_1(x_i,x_j)=(\sum^n_{l=1}|x_i^{(l)}-x_j^{(l)}|),称为曼哈顿距离;\\ 当p=2时，L_2(x_i,x_j)=(\sum^n_{l=1}|x_i^{(l)}-x_j^{(l)}|^2)^{\frac{1}{2}},其实形式上也是L2范数，称为欧式距离，平常使用的比较多;\\ 当p=\infty,它是各个坐标距离的最大值，即为:L_{\infty}(x_i,x_j)=max|x_i^{(l)}-x_j^{(l)}| 设特征空间χ是n维实数向量空间Rn,xi,xj∈χ,xi=(xi(1),xi(2),xi(3)...,xi(n))T,xj=(xj(1),xj(2),xj(3)
最低0.47元/天 解锁文章
2984
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
