本文介绍了熵的概念，它是度量事物混乱、无序程度的指标，与机器学习中的不确定性相关。通过最大熵原理，解释了在有限信息下最可能的概率分布。相对熵（KL散度）用于量化两个概率分布的差异，而交叉熵在机器学习中常作为损失函数。最后，互信息描述了随机变量之间的依赖性，用于衡量信息的关联性。
0 写在前面
机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。
1 宇宙演化的熵增定律
在开始前，我们可以先思考几个现象：
- 为什么很久没人住的房子看起来越来越破败？
- 为什么打碎的杯子没办法自发地复原？
- 为什么我们的代码工程总是不可避免地越来越臃肿？
- 为什么生命必然衰败走向死亡？
- 为什么…
上述现象的本质就用熵增定律来揭示：在一个封闭的系统内，事物一定会不可避免地自发地向混乱、无序的方向发展
熵增定律是宇宙演化的终极规律——所有有机体生命都不可逆的走向死亡，太阳也会因为不断燃烧而最热寂，宇宙也将最终灭亡
所以我们要积极地面对当下~
在熵增定律中提到熵(Entropy)的
订阅专栏 解锁全文
594
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
