主要参考资料:https://www.bilibili.com/video/BV15V411W7VB
2021.09.21
这个视频非常棒,有时间可以看看
“交叉熵”如何做损失函数?打包理解“信息量”、“比特”、“熵”、“KL散度”、“交叉熵”
文章目录
1. 问题提出
- 我们在逻辑回归的时候,会经常看见 熵 这个字,那什么是熵?
- 我们在推导《逻辑回归5.2.2通式》的过程中,有人说是交叉熵,那什么是交叉熵?
- 交叉熵和最大似然估计有什么联系和区别?
2 熵
-
熵解决了个什么问题?
衡量不同模型的好坏。 通常比较,都是同一模型进行比较的,不同模型没办法比较。比如,牛和鸡蛋怎么来衡量价值的高低,是通过同一货币体系来衡量的。所以熵就是概率模型统一衡量的一个公度。
-
啥是熵?
熵即是热力学概念,也是信息论概念。信息论上讲,
- 定义: f ( x ) : = 信 息 量 f(x):=信息量 f(x):=信息量
- 同时发生的熵 f ( x 1 ∗ x 2 ) = f ( x