深度学习笔记-正则化

-通过正则化消除过度拟合，下面为公式介绍和解释

• J(w,b)=$\frac{1}{m}{\sum }_{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})+\frac{\lambda }{2m}||w||{}_2^2$
• $L_2$正则化： $||w||{}_2^2={\sum }_{j=1}^{n_x}{w_j}^2=w^{T}w$,
  $||w||{}_2^2$被称为参数W的$L_2$范数
• 只对W进行正则化是因为W是一个高维参数，基本上包含了所有维度
• $\lambda$是正则化参数，应该较大，避免过拟合，即避免数据权值矩阵过大
• 放在多层网络中变成了“ $+\frac{\lambda }{2m}{\sum }_{l=1}^L||w^{[l]}||{}_F^2$”
  L为层
  $||W^{[l]}||{}_F^2={\sum }_{i=1}^{n^{[l-1]}}{\sum }_{j=1}^{n^{[l]}}(w{}_{ij}^{[l]}{)}^{2}w:(n^{[l-1]},n^{[l]})$
  “Frobenius norm” 弗罗贝尼乌斯范数