最好看其他人的,这篇讲的不太清楚:
交叉熵(Cross-Entropy)
交叉熵(Cross Entropy Loss)也是一种loss
香农定理:
用概率决定信息量,公式的意义:比如:买彩票,中100万奖概率小,一旦你中奖了,这个信息量就很大了;但你花10块钱买了一袋零食,本来概率就是100%,这个信息量就很小,由概率决定信息量,两者呈反比。
所以,如果4分类,每个分类出来的概率都是25%,不确定性很高,即求出的E(熵)就很大,可以用作loss。
KL代表散度
corss_entropy=softmax+log+null_loss
深度学习(十八)——交叉熵
最新推荐文章于 2022-06-07 15:17:38 发布