NNDL作业3

在 Softmax 回归的风险函数（公式 (3.39)）中，如果加上正则化项会有什么影响？
 

当我们加入正则化后：

则

更新参数时：

加入正则化后，在更新参数时每次需要减去，使得参数不会过大，不会造成溢出之类的错误，同时也防止过拟合。

在 Softmax 回归的风险函数中加上正则化项可以控制模型的复杂度，避免过拟合的问题。具体来说，加上  正则化项后，最小化带有正则化项的风险函数等价于最小化原始风险函数加上一个规则化项。这个规则化项惩罚了模型的权重过大，从而使模型更倾向于选择一些更简单的解决方案。

在加入正则化项后，最小化风险函数的过程中，除了要尽量减小分类误差，还要尽量让模型的权重最小化，防止过拟合。实践中通常使用L2正则化，因为它有更好的优化性质和更加平滑的解。同时，加入正则化项也会使得模型对数据的噪声更加鲁棒，提高了模型的泛化能力。