在Softmax回归的风险函数中,如果加上正则化项会有什么影响?
原风险函数:
正则化后:
对W进行求导:
参数更新:
加入正则化后,每一次参数更新,都能够比原来多减一个2λW,这样参数就不会变得太大。既不会造成溢出类错误,也会减少过拟合的风险。 相当于加了个限制。
在Softmax回归的风险函数中,如果加上正则化项会有什么影响?
原风险函数:
正则化后:
对W进行求导:
参数更新:
加入正则化后,每一次参数更新,都能够比原来多减一个2λW,这样参数就不会变得太大。既不会造成溢出类错误,也会减少过拟合的风险。 相当于加了个限制。