第三章-KNN(分类和回归算法模型)

最新推荐文章于 2024-10-02 23:53:59 发布

芷若初荨

最新推荐文章于 2024-10-02 23:53:59 发布

阅读量1.4k

点赞数 1

分类专栏：机器学习文章标签：机器学习统计学习方法-李航 KNN

本文链接：https://blog.csdn.net/cecilia620/article/details/101368480

版权

本文介绍了KNN（K近邻）模型，包括距离度量如曼哈顿距离和欧式距离，K值选择的影响，以及分类决策规则。K值的大小会影响预测结果，小K值可能导致过拟合，大K值可能导致欠拟合。KNN算法的实现涉及快速K近邻搜索，kd树能提高搜索效率。最后，文章引发了对KNN模型复杂度和过拟合问题的思考。

摘要由CSDN通过智能技术生成

上上一章已经学习了感知机模型、策略和算法，感知机对于分类任务有着其优点，但是该模型是在具有强假设的条件下——训练数据集必须是线性可分的，但是如果数据集是呈现无规则的分布，那么此时如果要做分类任务，还可以考虑k近邻（KNN），这是一种基本的分类和回归方法，既可以做简单的二分类也可以做复杂的多分类任务，还可以做回归任务。

KNN模型

KNN模型实际上对应于对特征空间的划分，虽然没有具体的数学抽象语言描述，但是仍然存在其三要素：距离度量、K值的选择、分类决策规则。

距离度量

$设特征空间\chi是n维实数向量空间R^n,x_i,x_j \in \chi,x_i=(x_i^{(1)},x_i^{(2)},x_i^{(3)}...,x_i^{(n)})^T,\\ x_j=(x_j^{(1)},x_j^{(2)},x_j^{(3)}...,x_j^{(n)})^T,x_i,x_j的距离可定义为：\\ L_P(x_i,x_j)=(\sum^n_{l=1}|x_i^{(l)}-x_j^{(l)}|^p)^{\frac{1}{p}}\\ 一般地，当p=1时，L_1(x_i,x_j)=(\sum^n_{l=1}|x_i^{(l)}-x_j^{(l)}|),称为曼哈顿距离;\\ 当p=2时，L_2(x_i,x_j)=(\sum^n_{l=1}|x_i^{(l)}-x_j^{(l)}|^2)^{\frac{1}{2}},其实形式上也是L2范数，称为欧式距离，平常使用的比较多;\\ 当p=\infty,它是各个坐标距离的最大值，即为:L_{\infty}(x_i,x_j)=max|x_i^{(l)}-x_j^{(l)}|$

最低0.47元/天解锁文章