- 博客(1)
- 收藏
- 关注
RSS订阅原创 交叉熵损失函数
说明 关于分类问题的交叉熵损失函数，博客交叉熵介绍的非常清楚。 我这里补充一点笔记，给自己看的。 前文结论 在这篇博文中，关于 KL 散度部分，已得到： KL散度越小，表示P(x)和Q(x)越接近，所以可以通过反复训练，来使Q(x)逼近P(x)，但KL散度有个特点，就是不对称，就是用P来拟合Q和用Q来拟合P的KL散度(相对熵)是不一样的，但是P和Q的距离是不变的。 那KL散度(相对熵)和交叉熵有什么联系呢？ 所以可以看到：KL散度 = 交叉熵 - 信息熵。 从信息熵的公式，我们知道，对于同一个数
2021-09-08 17:42:58
257
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人