Softmax和关于它的交叉熵损失函数详细求导过程
首先,先看什么是Softmax?
Softmax用于多分类中,将多个输入,映射为多个输出,且输出值都位于(0,1)之间,j假设向量,则Softmax(a)如下:
而要了解Softmax函数的导数,还需要知道什么是雅克比矩阵:
雅可比矩阵是一阶偏导数以一定方式排列成的矩阵。若是一个从n维欧氏空间映射到到m维欧氏空间的函数,即
,则f(x)对x的偏导数可以组成一个m*n(m行n列)的矩阵...
原创
2019-06-09 02:02:10 ·
1076 阅读 ·
0 评论