机器学习西瓜书第二章概要（1）

最新推荐文章于 2022-11-23 15:54:36 发布

炼丹小白师

最新推荐文章于 2022-11-23 15:54:36 发布

阅读量633

点赞数 2

分类专栏：笔记文章标签：机器学习

本文链接：https://blog.csdn.net/qq_43241562/article/details/122286931

版权

笔记专栏收录该内容

6 篇文章 2 订阅

订阅专栏

本文探讨了模型评估中的关键概念，如错误率、精度、过拟合和欠拟合。过拟合发生在模型过度适应训练数据，导致泛化能力下降；而欠拟合则是模型未能捕捉数据的复杂性。解决欠拟合的方法包括增加决策树分支或训练轮数。过拟合可通过选择高效算法和增加特征来缓解。评估模型性能的常用方法包括留出法、交叉验证法（如留一法）和自助法。调参涉及参数工程、训练步长优化和计算成本的平衡，以提升模型性能。

摘要由CSDN通过智能技术生成

模型评估与选择

经验误差与过拟合

Error rate （错误率） E=a/m
如果m个样本有a个样本分类错误
Accuracy rate （精度）精度=1-错误率
学习器在训练集上的误差称为“训练误差”或“经验错误”，新样本上的误差称为“泛化误差”

过拟合：训练器把训练样本学得“太好了”的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有一般性质，这样就会导致泛化性能下降。这种现象称之为过拟合。

欠拟合：指对训练样本的一般性质尚未学好，即高密度特征学习的不够。
拟合状态
学习能力是否“过于强大”，是由学习算法与数据内涵共同决定。
欠拟合解决方法：
（1）决策树学习中扩展分支
（2）学习神经网络中可以增加训练轮

数
过拟合解决方法：
（1）有效的学习算法在多项式时间内运行完成，若可以彻底避免过拟合，则通过经验误差最小化就能获最优解。
（2）采用更多的有效特征也可！

评估方法

1.留出法

留出法（hold-out）直接将数据集D划为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T，即D=S∪T，S∩T=Φ，在S上训练出模型后，用T来评估测试误差，作为泛化误差的估计。

2.交叉验证法

先将数据集D划分为k个大小相似的互斥子集，即D=D1∪D2∪D3…∪Dn,每个子集Di都尽可能保持数据分布的一致性。即从D中通过分层取样得到，然后用k-1个子集作为训练集，余下的作为测试集。从而可以进行k次训练和测试，最终返回k个测试结果的均值，故交叉验证法的评估结果的稳定性和保真性极大程度依赖于k的取值。

在这里插入图片描述
如下顺序划分：

测试结果为各测试集加和求平均返回结果。
讲一下一个特殊的交叉验证法：留一法（Leave-One-Out LOO)
数据集有m个样本，划分为k个子集，k=m，留一法使用的训练集必初始训练集少一个样本，因此，留一法在绝大多数情况下评估结果相对准确，但是模型数量一旦很大时（模型未考虑调参），评估结果则未必时最准确的（NFL定理）

自助法

直接以自主采样法（bootstrap sampling）为基础。
给定包含m个样本的数据集D，我们对他进行采样并返回D1；
每次从D中挑选一个样本，将其放入D1，然后将该样本返回初始数据集D中，是的样本下次采样时仍然可能被采到，重复m次
求极限为在这里插入图片描述
自助法适合小样本训练，而且由于要将初始数据集分割为多个小数据集，这对集成学习有很大帮助。