前言
相对于 L 2 L_2 L2 正则化的计算量较大,dropout正则化减少了计算量,不足的是不能直观体现出 ȷ ( w , b ) \jmath(w,b) ȷ(w,b) 随着迭代次数的变化情况。但这也不妨碍其在计算机视觉中的广泛使用。
dropout 正则化
原理
对神经网络中每一层的每个节点取一定概率丢弃,进而使得神经网络一定程度上简化
例如上图中,橙色的节点是丢弃的节点。橙色节点丢弃后,该神经网络就一定程度上简化了
常见方法:反向随机失活
反向随机失活在计算机视觉上用的多。使用反向随机失活时,神经网络最少取3层
d3 = np.random.rand(a3.shape[0],a3.shape[1])<keep.prob #keep.prob是不丢弃的概率,如果值为0.8,则有0.2被丢弃
a3 = np.multply(a3,d3)
a3 /= keep.prob #防止改变a3的期望值
假设我们有 50 个神经元,且概率为 0.8,则 50 个神经元中有 10 个 将会被丢弃。
那么,
z
[
4
]
=
w
[
4
]
∗
a
[
3
]
+
b
[
4
]
z^{[4]} = w^{[4]}*a^{[3]} + b^{[4]}
z[4]=w[4]∗a[3]+b[4] 中,
a
[
3
]
a^{[3]}
a[3] 就被减少了
20
20%
20,为了不减少这个期望值,就需要 a3 /= keep.prob
来防止对
a
[
3
]
a^{[3]}
a[3] 期望值的改变。
但是,在测试阶段不可以使用反向随机失活,不然期望输出也会是随机的。
而且,反向随机失活会使代价函数不明确,故,在神经网络的训练过程中,要先确定 ȷ ( w , b ) \jmath(w,b) ȷ(w,b) 随梯度下降的迭代次数增加而减小后再使用反向随机失活。
数据集扩增
图像
- 图像水平翻转
- 图像随机裁剪
等一系列的图像操作可以使得数据量翻倍从而扩大训练集
字符
- 旋转
- 变形
早终止法
早终止法的优点也是减少了计算量。但是却把两个问题结合在了一起增加了复杂度
如图,我们画出随着迭代次数增加的情况下,开发集 (dev) 误差与训练误差 (train) (或者 ȷ \jmath ȷ 代价函数也可) 的曲线。我们会发现随着迭代次数的增加,开发集 (dev) 误差会先减后增,训练误差 (train) (或者 ȷ \jmath ȷ 代价函数也可) 的曲线会一直递减。
我们找到两个曲线均小的点,这个点就是早终止的点。在这个点可以取得较好的性能,从而降低高方差
然而,这也是有缺点的。
这使得最优化的 ȷ \jmath ȷ 函数(或者梯度下降的最优解)与正则化减少方差的两个问题结合在了一起。使得不能单一解决其中一个问题,增加了复杂性。
提早中断了梯度下降,打断了 ȷ \jmath ȷ 的优化过程,没法用同一个工具解决两个问题。
但是这避免了正则化的缺点,大量的对 λ \lambda λ 的计算,减少了计算量。
归一化输入
零均值化
μ = 1 m ∑ i = 1 m x ( i ) x = x − μ \mu = \frac{1}{m}\sum_{i=1}^mx_{(i)}\\ x = x - \mu μ=m1i=1∑mx(i)x=x−μ
归一化方差
σ 2 = 1 m ∑ i = 1 m x ( i ) 2 x / = σ \sigma^2 = \frac{1}{m}\sum_{i=1}^{m}x_{(i)}^2\\ x /= \sigma σ2=m1i=1∑mx(i)2x/=σ
为什么要归一化输入呢?我们看看归一化前后的结果
我们可以发现,归一化后的数据在梯度下降时候会更容易找到最优解,如果不进行归一化,会加大计算量,同时损失函数也会较复杂。即消除了数据特征之间的量纲影响,使得不同指标之间具有可比性,数据的更新速度将会变得一致,从而更容易更快通过梯度下降找到最优解,进而得到更精确的结果,便于分析。
梯度消失与梯度爆炸
梯度消失与梯度爆炸常常出现在较深的神经网络中,梯度消失与梯度爆炸的含义是,在训练时,损失函数的导数或者斜率有时候会变得特小或者特大
例如上图的神经网络,我们可以知道,输出
y
y
y 的值为:
y
=
w
[
l
]
∗
w
[
l
−
1
]
⋯
∗
w
[
1
]
x
y = w^{[l]}* w^{[l-1]}\cdots* w^{[1]}x
y=w[l]∗w[l−1]⋯∗w[1]x
假设:
w
=
[
1.5
0
0
1.5
]
w = \begin{bmatrix} 1.5 & 0 \\ 0 & 1.5 \end{bmatrix}
w=[1.5001.5]
则
y
^
=
w
[
l
]
∗
[
1.5
0
0
1.5
]
l
−
1
x
\hat y = w^{[l]}*\begin{bmatrix} 1.5 & 0 \\ 0 & 1.5 \end{bmatrix}^{l-1}x
y^=w[l]∗[1.5001.5]l−1x
在这样的情况下,
y
^
\hat y
y^ 的值会指数增长。损失函数的导数会特大。
同理,在 w = [ 0.5 0 0 0.5 ] w = \begin{bmatrix} 0.5 & 0 \\ 0 & 0.5 \end{bmatrix} w=[0.5000.5] 的情况下,损失函数的导数会特小。
那么如何解决这个问题?
我们需要使用更细致的随机初始化神经网络(初始化权重)
例如:
w[l] = np.random.randn(shape)*np.sqrt(1/n[l-1])
其中, 1 n [ l − 1 ] \frac{1}{n^{[l-1]}} n[l−1]1 中的 n [ l − 1 ] n^{[l-1]} n[l−1] 为输入的每个神经元的特征数。因为每层神经网络的每个单元有 n [ l − 1 ] n^{[l-1]} n[l−1] 个输入,而在这个例子中,有 n n n 个输入特征
需要注意的是,当使用
R
e
L
U
ReLU
ReLU 作为激活函数时,我们应该使用 np.sqrt(2/n[l-1])
当使用 t a n h tanh tanh 时,有两种方案,任选一种即可:
-
xavier 提出的初始化数:
1 n [ l − 1 ] \sqrt{\frac{1}{n^{[l-1]}}} n[l−1]1 -
Yoshua Bengio 提出的初始化数:
2 n [ l − 1 ] ∗ n [ l ] \sqrt{\frac{2}{n^{[l-1]}*n^{[l]}}} n[l−1]∗n[l]2
梯度检验
梯度检验用于检验梯度反向传播的正确性
梯度的近似计算:
f
(
θ
+
ε
)
−
f
(
θ
−
ε
)
2
ε
≈
g
(
θ
)
\frac{f(\theta + \varepsilon)-f(\theta - \varepsilon)}{2\varepsilon}\approx g(\theta)
2εf(θ+ε)−f(θ−ε)≈g(θ)
用双侧的差值计算更精确。
梯度检验具体来讲就是:
将
w
[
1
]
,
b
[
1
]
⋯
⋯
w
[
l
]
,
b
[
l
]
w^{[1]},b^{[1]} \cdots \cdots w^{[l]},b^{[l]}
w[1],b[1]⋯⋯w[l],b[l]
连成一个向量
θ
\theta
θ
那么:
ȷ
(
[
w
[
1
]
,
b
[
1
]
⋯
⋯
w
[
l
]
,
b
[
l
]
]
)
=
ȷ
(
θ
)
\jmath([w^{[1]},b^{[1]} \cdots \cdots w^{[l]},b^{[l]}]) = \jmath(\theta)
ȷ([w[1],b[1]⋯⋯w[l],b[l]])=ȷ(θ)
同理,将
d
w
[
1
]
,
d
b
[
1
]
⋯
⋯
d
w
[
l
]
,
d
b
[
l
]
dw^{[1]},db^{[1]} \cdots \cdots dw^{[l]},db^{[l]}
dw[1],db[1]⋯⋯dw[l],db[l]
连成一个向量
d
θ
d \theta
dθ
d
θ
=
[
d
w
[
1
]
,
d
b
[
1
]
⋯
⋯
d
w
[
l
]
,
d
b
[
l
]
]
d \theta = [dw^{[1]},db^{[1]} \cdots \cdots dw^{[l]},db^{[l]}]
dθ=[dw[1],db[1]⋯⋯dw[l],db[l]]
我们需要计算的是,
d
θ
d\theta
dθ 是
ȷ
(
θ
)
\jmath(\theta)
ȷ(θ) 的梯度或者斜率嘛?
由于 ȷ ( θ ) = ȷ ( θ 1 , ⋯ , θ l ) \jmath(\theta) =\jmath(\theta_1 ,\cdots ,\theta_l) ȷ(θ)=ȷ(θ1,⋯,θl) ,故我们要对每个 θ \theta θ 循环一次
对于每个
θ
i
\theta_{i}
θi,我们有
d
θ
a
p
p
o
r
(
i
)
=
ȷ
(
θ
1
,
⋯
θ
i
+
ε
,
⋯
)
−
ȷ
(
θ
1
,
⋯
θ
i
−
ε
,
⋯
)
2
ε
d \theta_{appor(i)} = \frac{\jmath(\theta_1,\cdots \theta_i+\varepsilon,\cdots) - \jmath(\theta_1,\cdots \theta_i-\varepsilon,\cdots)}{2\varepsilon}
dθappor(i)=2εȷ(θ1,⋯θi+ε,⋯)−ȷ(θ1,⋯θi−ε,⋯)
而:
d
θ
(
i
)
=
∂
ȷ
∂
θ
(
i
)
d\theta_{(i)} = \frac{\partial \jmath}{\partial \theta_{(i)}}
dθ(i)=∂θ(i)∂ȷ
接下来检查
d
θ
a
p
p
o
r
(
i
)
≈
d
θ
d \theta_{appor(i)} \approx d\theta
dθappor(i)≈dθ
是否成立
我们计算它们的欧几里得距离,即两个向量的每个分量差的平方和再开方,看看结果是否大概为
1
0
−
7
10^{-7}
10−7。
∣
∣
d
θ
a
p
p
o
r
−
d
θ
∣
∣
2
∣
∣
d
θ
a
p
p
o
r
∣
∣
2
+
∣
∣
d
θ
∣
∣
2
≈
1
0
−
7
\frac{\lvert \lvert d\theta_appor - d\theta \lvert \lvert_2}{\lvert \lvert d\theta_{appor} \lvert\lvert_2+\lvert \lvert d\theta\lvert \lvert_2} \approx 10^{-7}
∣∣dθappor∣∣2+∣∣dθ∣∣2∣∣dθappor−dθ∣∣2≈10−7
如果为
1
0
−
7
10^{-7}
10−7 那么梯度检验就通过了。
如果为 1 0 − 5 10^{-5} 10−5,那么需要好好检查一下,可能正确也有可能错误,检查每个分量。如果其中某个分量很大,就有可能出错了
如果为 1 0 − 3 10^{-3} 10−3,那么一定有错误,需要仔细检查
梯度检验的实用技巧
- 不要在训练中使用梯度检查,仅仅只在调试时使用,否则会严重影响训练速度,调试过后记得关掉
- 如果检验失败,仔细检查每一项去找出漏洞,仔细检查,差值大的可能有错误
- 如果使用了正则化,那么检验也需要正则化
- 梯度检验不要与 dropout 一起使用,可以设 dropout 的 keep.prob 为 1,即关掉 dropout 再检验