【23-24 秋学期】NNDL 作业3

在Softmax回归的风险函数(公式(3.39))中，如果加上正则化项会有什么影响?

正则化项的作用是防止过拟合，即在损失函数上增加一些限制，来达到缩小解空间，来预防求出过拟合的解。

softmax回归的风险函数不添加正则项是：

这些所有类别里，只有一个1，其他的均为0，也就是说很多都是冗余的。所以我们可以减去一个相同的向量，来缩小，解空间，防止过拟合。

加入正则化项：

在对整个风险函数求关于W的梯度，可得到新的一项

即在更新W时，可以令比较大的W值减去2λW，以此可以防止过拟合，得到一个较好的W参数，同时也可以防止W过大造成数据上的溢出。生动的来讲就是惩罚过大的参数项。