引言
在之前的内容里,我们采用的是sigmoid函数作为输出层神经元。这里我们介绍一种softmax函数作为新的输出层。
softmax函数
softmax本质上是一种归一化的过程,假设神经元的带权输入为:
zLj=∑kwLjkaL−1k+bLj
z
j
L
=
∑
k
w
j
k
L
a
k
L
−
1
+
b
j
L
定义输出神经元的激活值为:
aL−1k=ezLj∑kezLk a k L − 1 = e z j L ∑ k e z k L
分母的求和是在所有的输出神经元上进行的。
softmax的意义:
softmax本质上是一种神经元输出的概率分布形式,,每个神经元的输出都可以理解为是正确输出的概率。任何输出的减少都会必然导致其他输出的增加,保证了所有的输出相加为1。