pytorch里的cross_entropy,log_softmax,nll_loss最清楚简单的区分。再也不迷糊!
1.首先明白信息论的以下概念:
自信息:I(x)代表信息的多少
香农熵H(X):代表一个分布下自信息的期望,也就是自信息的均值。
交叉熵/cross_entropy/H(P,Q):
注意:上图中的DL(P||Q)指的是KL散度,DEEP LEARNING中模糊了交叉熵 和KL散度的区分,本质上两者是不同的,但deep中用交叉熵代替KL散度来衡量两个分布的差距,具体为什么可以就...
原创
2020-02-10 14:19:59 ·
1084 阅读 ·
0 评论