梯度下降法与反向传播
主要内容:
梯度下降法
- 最优化
- 梯度下降
反向传播
- 梯度与偏导
- 链式法则
- 直观理解
- Sigmoid 例子
1. 梯度下降(Gradient descent)
初始权重不要都置为0,可用高斯分布。 随机初始化的目的是使对称失效。如果所有权重初始化为相同初始值,那么所有的隐藏层单元最终会得到与输入值相关的、相同的函数。
import numpy as np
W = np.random.randn(m,n) * 0.001 # 正态分布随机数
在多维变量函数中,函数在某一点的切线的斜率(存在多个,如三维中所有切线组成一个切面)就是方向导数;梯度是一个矢量,其方向上的方向导数最大,其大小正好就是此最大方向导数。
数值梯度:由导数的定义来求解梯度,再迭代更新。特点是不容易出错,但是计算复杂,速度慢。
grad=f(x+h)−f(x)h
解析梯度:由损失函数计算对应的偏导解析式,再由解析式迭代计算梯度。 特点是 计算速度很快,但是 容易出错。
∂f∂x
梯度下降迭代:
# 很多神经网络库的核心迭代代码
while True:
weights_grad = evaluate_gradient(loss_fun,data,weights)
weights += - step_size * weights_grad # 梯度下降更新权重参数
梯度检查\检测:可以选取部分样例先计算解析梯度和数值梯度,对比较结果和校正,然后采取解析梯度大胆进行解析计算,这个过程就叫做梯度检查。
Mini-Bacth: 对整个训练数据集的样本都算一篇损失函数,以完成参数的迭代是一件非常耗时的事情。通常的做法是采样出一个子集在其上计算梯度。
while True:
data_batch = sample_training_data(data,256) # 抽样256个样本作为一个batch
weights_grad = evaluate_gradient(loss_fun,data_batch,weights)
weights += - step_size * weights_grad # 更新权重参数
2. 反向传播(Backpropagation)
链式法则:若函数 u=ψ(t) , v=ϕ(t) 在点 t 可导,
∂z∂t=∂z∂u∂u∂t+∂z∂v∂v∂t
Sigmoid 函数:
f(x)=11+e−x
其 导数:
f′(x)=f(x)(1−f(x))
2.1 神经网络推导
前向传播
如图所示,是一个神经网络模型,每个圆圈代表一个神经元,标上 “ +1 ” 的圆圈是偏置点(bias)。用 nl 表示神经网络的层数,此图中 nl=3 ,将第 l 层记为