深度学习作业3

习题3-6 在Softmax回归的风险函数(公式(3.39))中,如果加上正则化项会有什么影响?

Softmax回归的风险函数通常形式如下：

对于一个K维向量，𝐱=[x1  ,⋯,𝑥𝐾]，Softmax的计算公式为

       Softmax回归中使用的𝐶个权重向量是冗余的，所有权重向量都减去一个同样的向量 ，输出结果不变。权重衰减可以解决 softmax 回归的参数冗余所带来的数值问题。其实就是用正则项惩罚参数。因此，Softmax回归往往需要使用正则化来约束其参数。此外，我们还可以利用这个特性来避免计算Softmax函数时在数值计算上溢出问题以及过拟合问题。

公式解释：

当我们加入正则化后：

则

更新参数时：

        加入正则化后，在更新参数时每次需要减去，使得参数不会过大，不会造成溢出之类的错误，同时也防止过拟合。