本文介绍了正则化的概念，旨在解决模型过拟合问题。通过引入L2正则化，对模型复杂度进行量化，以权重的平方和为惩罚项，控制模型的复杂度。在训练过程中，通过调整λ参数找到最佳平衡点，避免欠拟合或过拟合。测试结果显示，适当的正则化可以有效降低模型复杂度，减少训练与测试损失的差距。
问题提出及正则化的引入
正则化的提出同样是解决模型过拟合问题，之前提出的特征组合来训练模型，当训练次数足够多时，损失会降低到非常的低，但却会出现过拟合问题。如图
迭代次数足够多，模型的复杂度也越高。可见一个好的模型和损失、模型的复杂度都有关。
所以，训练优化算法是一个由两项内容组成的函数：一个是损失项，用于衡量模型与数据的拟合度，另一个是正则化项，用于衡量模型复杂度。
所以，什么是正则化？ 降低复杂模型的复杂度来避免过拟合的原则就是正则化。
如何定义复杂度
- 将模型复杂度作为模型中所有特征的权重的函数。
- 将模型复杂度作为具有非零权重的特征总数的函数。
对于第一种方式（特征的权重的函数），权重的绝对值越高，对复杂度的贡献越大。
使用L2正则化量化复杂度
L2正则化（也称岭正则化）：所有权重的平方和，对权重的平方和的惩罚。
如何对模型正则化
- 早停法
最低0.47元/天 解锁文章
扫一扫
369
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
