用于个人知识点回顾，非详细教程
1.梯度下降
- 前向传播
特征输入—>线性函数—>激活函数—>输出
- 反向传播
根据损失函数反向传播，计算梯度更新参数
2.激活函数(activate function)
- 什么是激活函数？
在神经网络前向传播中，每一层的输出还需要经过激活函数再作为下一层的输入，即 a [ 1 ] = σ ( z [ 1 ] ) a^{[1]}=\sigma(z^{[1]}) a[1]=σ(z[1])
- 为什么需要激活函数？
如果没有非线性激活函数，模型的最终输出实际上只是输入特征x的线性组合
- 激活函数的分类
（1）sigmoid函数：除了输出层是一个二分类问题基本不会用
a
=
σ
(
z
)
=
1
1
+
e
−
z
a=\sigma(z)=\frac{1}{1+e^{-z}}
a=σ(z)=1+e−z1
（2）tanh函数：数据平均值更接近0，几乎所有场合都适用
a
=
t
a
n
h
(
z
)
=
e
z
−
e
−
z
e
z
+
e
−
z
a=tanh(z)=\frac{e^{z}-e^{-z}}{e^{z}+e^{-z}}
a=tanh(z)=ez+e−zez−e−z
sigmoid函数和tanh函数两者共同的缺点是，在z特别大或者特别小的情况下，导数梯度或者函数斜率会变得特别小，最后就会接近于0，导致降低梯度下降的速度。
（3）Relu函数：修正线性单元，最常用的默认函数
a
=
m
a
x
(
0
,
z
)
a=max(0, z)
a=max(0,z)
（4）Leaky Relu函数：进入负半区
a
=
m
a
x
(
0.01
z
,
z
)
a=max(0.01z, z)
a=max(0.01z,z)
sigmoid函数和tanh函数在正负饱和区的梯度都会等于0，而Relu和Leaky Relu可以避免梯度弥散现象，学习速度更快
3. 正则化
- 偏差和方差
高方差过拟合，高偏差欠拟合
- L1/L2正则化
在损失函数加上正则化，L1正则化更稀疏
- dropout正则化
根据概率随机删除节点
- 其它正则化方法
4.优化算法
- mini-batch梯度下降法
数据集分成多个子集来更新梯度
- 动量梯度下降(momentum)
参数更新时的梯度微分值计算方式采用指数加权平均
- RMSprop(root mean square prop)
- Adam
momentum+RMSprop
5.梯度消失和梯度爆炸
How to prevent vanishing gradient or exploding gradient?
The Vanishing/Exploding Gradient Problem in Deep Neural Networks
在神经网络的反向传播中，基于链式规则，n层隐藏层需要乘n次导数
- 梯度爆炸gradient exploding：如果导数很大，那么当我们沿着模型传播时，梯度将呈指数增长，直到它们最终爆炸，梯度爆炸会导致学习不稳定
- 梯度消失gradient vanishing：如果导数很小，那么当我们在模型中传播时，梯度将呈指数下降，直到最终消失，梯度消失会无法有效学习
解决方法
- 适用Relu激活函数
- 适用Batch Normalization (BN)：
- 降低学习率
- 改变网络结构
- 使用合适的权重初始化
- 梯度裁剪Gradient clipping
1720
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
