不用再往下划，信息熵(Entropy)概念及应用（附视频）都在这里啦！

在学习浙财石向荣老师的“数据分析在审计中的应用”课程时，内容中涉及“信息熵”相关概念及应用，听完课程后仍旧困惑、一知半解，遂整理此文想法产生。因受限于数学功底，如有谬误还请多指教。您的支持，将是我前行的动力。

1 什么是信息熵

1.1 由来

1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C.E.Shannon（香农）从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。

一条信息的信息量与其不确定性有着直接的关系。比如说我们要搞清一件非常不确定的事，就需要了解大量的信息；反之，如果已对某件事了解较多，则不需要太多的信息就能把它搞清楚。所以，从这个角度，可以认为，信息量就等于不确定性的多少。而通过信息熵这个指标可以将其量化。

1.2 公式定义

H ( X ) = − ∑ x ∈ χ p ( x ) log ⁡ p ( x ) H(X)=-\sum_{x \in \chi}