习题3-6 在Softmax回归的风险函数(公式(3.39))中,如果加上正则化项会有什么影响?
Softmax回归的风险函数通常形式如下:
对于一个K维向量,𝐱=[x1 ,⋯,𝑥𝐾],Softmax的计算公式为
Softmax回归中使用的𝐶个权重向量是冗余的,所有权重向量都减去一个同样的向量 ,输出结果不变。权重衰减可以解决 softmax 回归的参数冗余所带来的数值问题。其实就是用正则项惩罚参数。因此,Softmax回归往往需要使用正则化来约束其参数。此外,我们还可以利用这个特性来避免计算Softmax函数时在数值计算上溢出问题以及过拟合问题。
公式解释:
当我们加入正则化后:
则
更新参数时:
加入正则化后,在更新参数时每次需要减去,使得参数不会过大,不会造成溢出之类的错误,同时也防止过拟合。