【深度学习】正则化
深层神经网络会让模型变得更加强大,但是可能带来过拟合,解决的办法就是正则化。正则化就是指在代价函数后加上一个正则化项L2正则化在代价函数后面加上神经网络各层权重参数W所有元素的二次方之和。此时的代价函数为等式右边第一项是神经网络损失,第二项是神经网络各层权重参数W所有元素的二次方之和正则化项相当于神经网络参数W的惩罚项,神经网路模型之所以发生过拟合,是因为参数W普遍较大,消除这一问题的方法之一就是让高阶参数w3,w4足够小,这样可以达到忽略不计的效果,也就是为了防止过拟合选择一些比较
原创
2022-04-25 17:06:03 ·
393 阅读 ·
0 评论