numpy实现神经网络系列
工程地址:https://github.com/yizt/numpy_neuron_network
基础知识
0_2_1-卷积层的反向传播-单通道、无padding、步长1
0_2_2-卷积层的反向传播-多通道、无padding、步长1
0_2_3-卷积层的反向传播-多通道、无padding、步长不为1
0_2_4-卷积层的反向传播-多通道、有padding、步长不为1
0_2_5-池化层的反向传播-MaxPooling、AveragePooling、GlobalAveragePooling、GlobalMaxPooling
0_3-激活函数的反向传播-ReLU、LeakyReLU、PReLU、ELU、SELU
0_4-优化方法-SGD、AdaGrad、RMSProp、Adadelta、Adam
DNN练习
CNN练习
本文目录
本文下载地址:0_2_2-卷积层的反向传播-多通道、无padding、步长1
依赖知识
a) 熟悉全连接层、损失函数的反向传播
b) 熟悉卷积层的反向传播-单通道、无padding、步长1
c) 熟悉以上两点的依赖知识
约定说明
a) l l 代表网络的第 层, zl z l 代表第 l l 层卷积, 代表第 l l 层卷积第 通道 (i,j) ( i , j ) 位置的值; zl z l 的通道数为 Cl C l , 高度和宽度分别为 Hl,W^l H l , W ^ l ( 避免与权重相同 避 免 与 权 重 相 同 )
b) Wl−1,bl−1 W l − 1 , b l − 1 代表连接第 l−1 l − 1 层和第 l l 层的卷积核权重和偏置; 卷积核的维度为 。
c) 记损失函数L关于第 l l 层卷积的输出 的偏导为 δl=∂L∂zl (3) δ l = ∂ L ∂ z l ( 3 )
前向传播
根据以上约定,卷积核权重 Wl−1∈Rkl−11×kl−12×Cl−1×Cl W l − 1 ∈ R k 1 l − 1 × k 2 l − 1 × C l − 1 × C l ,偏置 bl−1∈RCl b l − 1 ∈ R C l ,每个输出通道一个偏置。
则有第
l
l
层卷积层,第个通道输出为:
其中: Hl=Hl−1−kl−11+1; W^l=W^l−1−kl−12+1 H l = H l − 1 − k 1 l − 1 + 1 ; W ^ l = W ^ l − 1 − k 2 l − 1 + 1 ; 注意前后通道直接相当于全连接,即前后两个卷积层直接所有通道都互相连接。
反向传播
权重梯度
a) 首先来看损失函数
L
L
关于第层权重
Wl−1
W
l
−
1
和偏置
bl−1
b
l
−
1
的梯度:
对比公式(5)和 单通道中公式(4),可以发现,损失函数 L L 关于第层权重 Wl−1:,:c,d W : , : c , d l − 1 梯度就是以 δld δ d l 为卷积核在 zl−1c z c l − 1 上做卷积的结果(这里没有偏置项),单通道对单通道的卷积。
b) 损失函数
L
L
关于第层偏置
bl−1
b
l
−
1
的梯度同
l-1层梯度
由单通道 可知第
l
l
层的第个通道传给第
l−1
l
−
1
层
c
c
通道的梯度为:
而l层的每个通道都有梯度返回给第l-1层的第c个通道,因此有:
其中: