本文探讨了正则化如何有助于防止过拟合，以L2正则化为例。通过增大正则化参数λ，权重矩阵趋向于接近0，简化网络，使其行为更像线性回归，从而降低方差。激活函数tanh的线性特性在正则化后更加突出，整个深层网络接近线性，避免了复杂非线性决策边界导致的过拟合问题。
1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai
1.5 为什么正则化可以减少过拟合？Why regularization reduces overfitting
本节将介绍为什么正则化有利于预防过拟合和减少方差问题。
以上一节介绍过的L2正则化为例。
观察上图，在前面已经介绍过，左边是偏差大欠拟合；右边是方差大过拟合；中间是合适的分类器，偏差和方差都不大。
假设有一个过拟合的NN，如下图（这张图不够大，深度也不够，只是做个例子解释原理而已）
这个NN的成本函数上节课已经介绍过
J ( W [ l ] , b [ l ] ) = 1 m ∑ i = 1 m L ( y ^ [ i ] , y [ i ] ) + λ 2 m ∑ l = 1 L ∣ ∣ W [ l ] ∣ ∣ F 2 J(W^{[l]},b^{[l]})=\frac 1m\sum_{i=1}^mL(\hat y^{[i]},y^{[i]})+\frac \lambda{2m}\sum_{l=1}^L||W^{[l]}||^2_F J(W[l],</
最低0.47元/天 解锁文章
325
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
