numpy实现神经网络系列
工程地址:https://github.com/yizt/numpy_neuron_network
基础知识
0_2_1-卷积层的反向传播-单通道、无padding、步长1
0_2_2-卷积层的反向传播-多通道、无padding、步长1
0_2_3-卷积层的反向传播-多通道、无padding、步长不为1
0_2_4-卷积层的反向传播-多通道、有padding、步长不为1
0_2_5-池化层的反向传播-MaxPooling、AveragePooling、GlobalAveragePooling、GlobalMaxPooling
0_3-激活函数的反向传播-ReLU、LeakyReLU、PReLU、ELU、SELU
0_4-优化方法-SGD、AdaGrad、RMSProp、Adadelta、Adam
DNN练习
CNN练习
本文目录
依赖知识
a) 熟悉全连接层、损失函数的反向传播
b) 熟悉卷积层的反向传播-单通道、无padding、步长1
c) 熟悉卷积层的反向传播-多通道、无padding、步长1
d) 熟悉卷积层的反向传播-多通道、无padding、步长不为1
e) 熟悉以上4点的依赖知识
约定说明
a) l l 代表网络的第 层, zl z l 代表第 l l 层卷积, 代表第 l l 层卷积第 通道 (i,j) ( i , j ) 位置的值; zl z l 的通道数为 Cl C l , 高度和宽度分别为 Hl,W^l H l , W ^ l ( 避免与权重相同 避 免 与 权 重 相 同 )
b) Wl−1,bl−1 W l − 1 , b l − 1 代表连接第 l−1 l − 1 层和第 l l 层的卷积核权重和偏置; 卷积核的维度为 ; 卷积核的步长为 (sl−11,sl−12) ( s 1 l − 1 , s 2 l − 1 ) ,padding 为 (pl−11,pl−12) ( p 1 l − 1 , p 2 l − 1 ) , 记 pzl−1 p z l − 1 为 zl−1 z l − 1 高度和宽度这两个维度填充padding后的多维向量。
c) 记损失函数L关于第 l l 层卷积的输出 的偏导为 δl=∂L∂zl (3) δ l = ∂ L ∂ z l ( 3 )
前向传播
有padding和没padding的前向传播过程完全一样,只需要将 无padding 中所有公式中的 zl−1 z l − 1 替换为 pzl−1 p z l − 1 即可。
因此根据以上约定,卷积核权重
Wl−1∈Rkl−11×kl−12×Cl−1×Cl
W
l
−
1
∈
R
k
1
l
−
1
×
k
2
l
−
1
×
C
l
−
1
×
C
l
,偏置
bl−1∈RCl
b
l
−
1
∈
R
C
l
,每个输出通道一个偏置。 则有第
l
l
层卷积层,第个通道输出为:
其中: Hl=(Hl−1−kl−11+2pl−11)/sl−11+1; W^l=(W^l−1−kl−12+2pl−12)/sl−12+1 H l = ( H l − 1 − k 1 l − 1 + 2 p 1 l − 1 ) / s 1 l − 1 + 1 ; W ^ l = ( W ^ l − 1 − k 2 l − 1 + 2 p 2 l − 1 ) / s 2 l − 1 + 1 ;
反向传播
同样反向传播过程中,也只需要将 无padding 中所有公式中的 zl−1 z l − 1 替换为 pzl−1 p z l − 1 即可。
权重梯度
a) 首先来看损失函数
L
L
关于第
l−1
l
−
1
层权重
Wl−1
W
l
−
1
和偏置
bl−1
b
l
−
1
的梯度:
b) 损失函数
L
L
关于第层偏置
bl−1
b
l
−
1
的梯度同
l-1层梯度
根据 无padding 中公式(8)有
其中 pδlpaddingd,i,j p δ d , i , j l p a d d i n g 是 δl δ l 在行列直接插入 (sl−11−1,sl−12−1) ( s 1 l − 1 − 1 , s 2 l − 1 − 1 ) 行列零元素后(即 δlpadding δ l p a d d i n g ),再在元素外围填充高度和宽度为 (kl−11−1,kl−12−1) ( k 1 l − 1 − 1 , k 2 l − 1 − 1 ) 的零元素后的梯度矩阵。
我们知道
δl−1c
δ
c
l
−
1
就是
(∂L∂pzl−1c,i,j)h×w
(
∂
L
∂
p
z
c
,
i
,
j
l
−
1
)
h
×
w
去除高度和宽度的填充后的矩阵,因此有