本文介绍了机器学习中常见的问题——过拟合和欠拟合，包括它们的定义和产生原因。过拟合通常是由于模型复杂度过高导致泛化能力下降，而欠拟合则可能是因为模型复杂度不足。为了解决过拟合，文章详细探讨了正则化的概念，特别是L1和L2正则化，这两种方法能有效降低模型复杂度并提高泛化能力。
一、过拟合与欠拟合
1.定义
过拟合与欠拟合都是机器学习建模过程中可能遇到的问题。欠拟合指模型在训练过程中对训练集拟合效果差，一般是由于模型的复杂度过低；过拟合指模型在训练过程中对训练集拟合效果好，但在测试过程中对测试集拟合效果差，即模型的泛化能力差，一般是由于建立的模型过于复杂。
2.出现原因
出现欠拟合情况的原因一般是模型还未完成学习，在后续的学习过程中一般能够得到改善。
出现过拟合情况的原因一般为：
1.训练集数据类型单一或数据量过小
2.训练数据当中噪声干扰过大
3.模型过于复杂（包含了过多特征）
二、正则化
正则化是解决模型过拟合问题的重要方法。具体做法是在损失函数中加入一个正则项后再求解参数θ\thetaθ，从而降低模型的复杂度，常用的正则项有L1正则项与L2正则项。
θ=argminθ[Loss(θ)+∑λR(θ)]=argminθ[1m∑i=1m((hθ(xi)−yi)2+λR(θ))]\theta=argmin_\theta[Loss(\theta)+\sum\lambda R(\theta)]=argmin_\theta[\frac{1}{m}\sum_{i=1}^{m}((h_\theta(x_i)-y_i)^2+\lambda R(\theta))]θ=argminθ[Loss(θ)+∑λR(θ)]=argminθ[m
最低0.47元/天 解锁文章
扫一扫
820
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
