Softmax与交叉熵
Softmax函数如下:
Pk=eθkx∑dj=0eθjx
P
k
=
e
θ
k
x
∑
j
=
0
d
e
θ
j
x
其中,Pk对应输出层第k个神经元的输出,也就是预测为第k类的概率,d表示输出层神经元总数
其损失函数(交叉熵)如下:
J(θ)=−1n∑i=0n∑j=0dI(label(i)==k)lnPi
J
(
θ
)
=
−
1
n
∑
i
=
0
n
∑
j
=
0
d
I
(
l
a
b
e
l
(
i
)
==
k
)
l
n
P
i
其中,label(i)表示第i个样本的标签为第几类,I(label(i)==k)判断第i个样本的标签是否为k,若是值为1否则值为0
Softmax对反向传播推导
Softmax反向传播求导主要使用链式求导法则,因此我们只需要从输出层开始逐层倒推即可。
博主为了简便期间,先只讨论一般的神经网络情况(只存在全连接层,无卷积,池化层)
对前一层神经元输出的求导
在这里我们将Softmax层展开,如果前一层的输出(卷积神经网络中通常是全连接层)是X,那么记θX=Y,
Pk=eyk∑dj=0eyj
P
k
=
e
y
k
∑
j
=
0
d
e
y
j
根据链式求导法则,要求出Loss对y的偏导那就可以继续求Loss对x的偏导。
Loss对y的偏导分为两种情况,1:对于第i个样本的第label(i)个y的偏导
2.对非标签对应项的y的偏导,如果记为b
总的来说可以归纳为:
ΔJθΔyk=−∑i=0n1n[I(label(i)==k)−Pk,i]
Δ
J
θ
Δ
y
k
=
−
∑
i
=
0
n
1
n
[
I
(
l
a
b
e
l
(
i
)
==
k
)
−
P
k
,
i
]
因此
ΔJθΔxm=−∑j=0d∑i=0nΔJθΔykΔykΔxm=−∑j=0d{∑i=0n1n[I(label(i)==j)−Pj,i]∗θm,j}
Δ
J
θ
Δ
x
m
=
−
∑
j
=
0
d
∑
i
=
0
n
Δ
J
θ
Δ
y
k
Δ
y
k
Δ
x
m
=
−
∑
j
=
0
d
{
∑
i
=
0
n
1
n
[
I
(
l
a
b
e
l
(
i
)
==
j
)
−
P
j
,
i
]
∗
θ
m
,
j
}
对更前的层的输出的求导
核心原理:
同样使用链式法则倒推,假设要求得某一层某个神经元z的导数则:
ΔJθΔz=−∑j=0D∑i=0nΔJθΔxjΔxjΔz
Δ
J
θ
Δ
z
=
−
∑
j
=
0
D
∑
i
=
0
n
Δ
J
θ
Δ
x
j
Δ
x
j
Δ
z
其中,我们假设了 x0 x 0 到 xD x D 都是z神经元 在前向传播过程中参与计算了的(也就是说倘若把x的表达式用z对应的层的神经元展开,则 x0 x 0 到 xD x D 是全部z参与运算得到的x,毕竟只有z参与运算才有x对z的导数)
公式表述:
为了能够简洁的表示损失对某一神经元或者权重的求导,一般记 敏感度 δlj δ j l 为损失J对第l层的某个神经元j激活前的输出的偏导
可以写成如下公式:
其中 Wlij W i j l 表示第l层第i个神经元连接第l+1层第j个神经元的权值, Xli X i l 表示第l层的第i个输入, Slj S j l 表示第l层的第i个输出,f(x)表示激活函数
敏感度通过(2)式方向传播,而对权值的偏导数可以如(1)式通过敏感度求得
(以上(1),(2)两个公式都是只考虑一个样本的情况,否则还要加一个求和)
对于卷积神经网络
对于卷积神经网络的求导原理与上述情况一样,由于有卷积和池化层的存在,下一层会存在大量的与上一层无关的神经元,因此敏感度反向传播方式类似于反卷积的过程,由于原理已经掌握,而且在实践中都是由深度学习框架实现,在此就不再详述,感兴趣的可以自己查找其他博客。