作者简介： 本文作者系大学统计学专业教师，多年从事统计学的教学科研工作，在随机过程、统计推 断、机器学习领域有深厚的理论积累与应用实践。个人主页
熵与最大熵
一个例子
首先，让我们从一个经典的例子说明什么是熵(entropy). 假设有 N N N个球放在 K K K个盒子里。记第 i i i个盒子放进 n i n_i ni个球，这样， ∑ i = 1 K n i = N \sum\limits_{i=1}^K n_i=N i=1∑Kni=N. 将 N N N个球放进 K K K个盒子，总计有 Ω \Omega Ω种放法，那么
Ω = N ! n 1 ! n 2 ! … n K ! ≃ e N H \Omega=\dfrac{N!}{n_1!n_2!\dots n_K!}\simeq e^{NH} Ω=n1!n2!…nK!N!≃eNH
其中， H = − ∑ i = 1 K n i N log n i N ≥ 0 H=-\sum\limits_{i=1}^K\dfrac{n_i}{N}\log\dfrac{n_i}{N}\ge0 H=
最低0.47元/天 解锁文章
8万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
