NNDL作业3

在softmax回归的风险函数中加入正则化,主要影响

1. 简化模型。正则化会缩减一些参数的值,使得模型更简单。参数会趋于0,但是不会完全消失。这简化了模型的表达能力。

2. 提升泛化能力。通过约束模型复杂度,正则化可以有效提升模型在测试数据上的表现,也就是泛化能力。

3. 加速训练。较小的权重可以加快梯度下降的速度,虽然每次迭代正则项增加一些计算负担,但训练整体会更快收敛。

4. 减少过拟合。正则项的作用就是 penalize模型根据训练数据可能出现的不良学习行为,比如过于依赖单个特征,此举可以有效降低过拟合的可能性，正则化可以防止模型粘滞在某些神经元或特征上,强迫模型考虑所有特征的综合贡献。

所以总体来说,正则化可以有效提升softmax回归模型的效果和泛化能力。它是一种重要的技巧来防止过拟合问题。

这里举一个softmax回归中加入L2正则化的简单例子:

假设我们有一个二分类问题,特征有x1和x2两个维度。softmax回归模型的参数为w1,w2,b。

不加正则化时,风险函数是:

J(w1,w2,b) = -1/m ∑(yilog(σ(wixi + b)) + (1-yi)log(1-σ(wixi + b)))

这里m是样本数量,yi是真实标签,σ是softmax函数。

我们加入L2正则化后,风险函数变为:

J(w1,w2,b) = -1/m ∑(yilog(σ(wixi + b)) + (1-yi)log(1-σ(wixi + b))) + λ/2(w1^2 + w2^2)

这里多加了一个正则化项λ/2(w1^2 + w2^2),其中λ是一个超参数控制正则化的程度。

通过这个额外的正则化项,模型在优化过程中会趋于让w1和w2趋于0,同时也会避免过度依赖特征x1或x2,从而获得更好的泛化能力。