1.softmax函数
设,,
则,显然。
例如:,则
2.softmax函数求导
(1)当i=j时
(2)当i!=j时
综上所述:
所以
3.softmax 函数的一个性质
这里X是向量,c是一个常数。下面证明左右两边的每一个分量相等。
证明:
实际应用:为了防止溢出,事先把x减去最大值。最大值是有效数据,其他值溢不溢出可管不了,也不关心。
4.softmax函数+交叉熵代价函数
这里的是真实值,是训练的目标,取0或1.在求导的时候是常量。 是softmax函数的输出值,是训练结果,是变量。
log似然代价函数C对每一个求偏导,结果都是