关于softmax损失函数的推导

关于softmax损失函数的推导

某人问我softamx损失函数的推导,索性就写一下.
定义softmax损失函数的输入为XN×CYN×C,
其中N代表输入的数据的个数,C代表类别的个数.X指的是神经网络的输出,Y代表的是0-1矩阵,即如果第i个样本的类别为j那么yij=1, 那么第i行的其余列的值就都为0. 这里我们用1{j=y(i)}来表示.
这里的softmax分类器是接在了神经网络的后面的.我们把softmax分类器看成神经网络的最后一层(请注意我的前提条件!).那么在对神经网络进行优化的时候就需要求出其关于输入X的偏导.

softmax classifier的损失函数如下:
loss(X,Y)=1Nij1{j=y(i)}log(pi,j)
其中pi,j=exp(xi,j)jexp(xi,j),其含义为第i个输入的类别为j的概率为pi,j
我们关于xi,j求偏导
首先进行拆分
ij1{j=y(i)}log(pi,j)=i[1{j=y(i)}log(pi,j)+cj1{c=y(i)}log(pi,c)]
那么损失函数为
loss(X,Y)=1N[i[1{j=y(i)}log(pi,j)+cj1{c=y(i)}log(pi,c)]]
接下来进行求导
lossxi,j=1N[1{j=y(i)}1pi,jpi,jxi,j+cj1{c=y(i)}1pi,cpi,cxi,j]

接下来我们求pi,jxi,j
pi,j=exp(xi,j)jexp(xi,j)
pi,jxi,j=exp(xi,j)jexp(xi,j))exp(xi,j)exp(xi,j))[jexp(xi,j)]2=exp(xi,j)jexp(xi,j)jexp(xi,j)exp(xi,j)jexp(xi,j)=pi,j(1pi,j)
接下来我们求pi,cxi,j
pi,c=exp(xi,c)jexp(xi,j),
pi,cxi,j=exp(xi,c)exp(xi,j)[jexp(xi,j)]2=exp(xi,c)jexp(xi,j)exp(xi,j)jexp(xi,j)=pi,c(pi,j)

那么就可以将上述结果带入可得
lossxi,j=1N[1{j=y(i)}1pi,jpi,jxi,j+cj1{c=y(i)}1pi,cpi,cxi,j]
=1N[1{j=y(i)}1pi,jpi,j(1pi,j)+cj1{c=y(i)}1pi,cpi,c(pi,j)]
=1N[1{j=y(i)}(1pi,j)+cj1{c=y(i)}(pi,j)]
=1N[1{j=y(i)}1{j=y(i)}pi,jcj1{c=y(i)}pi,j]
=1N[1{j=y(i)}j1{j=y(i)}pi,j]
=1N[1{j=y(i)}pi,j]
=1N[pi,j1{j=y(i)}]
即为所求,代码如下:
softmax损失函数及其关于输入的偏导
转载请注明出处:http://blog.csdn.net/xizero00

发布了95 篇原创文章 · 获赞 239 · 访问量 81万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览