什么是信息熵？

什么是信息？

​ 我们在日常生活中吃瓜的时候总会说信息量太大了，那么这个信息是怎么个意思呢？我们在听到的时候很多原因都是因为这个消息是新鲜的，我们没见过的，没听说过，所以就说是信息量大。

信息熵

20世纪40年代，香农借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为"信息熵"，并给出了计算信息熵的数学表达式。

什么样的信息称为冗余信息呢？

香农在定义信息熵时考虑的是排除了冗余之后的平均信息量。在实际应用中，这意味着如果一个消息或数据集中存在可以预测或从其他信息中推导出来的部分，那么这部分信息就被视为冗余。

香农提出信息熵需要满足以下两个条件：

1. 不确定性函数f是概率P的减函数：这意味着当事件发生的概率P增加时，事件发生的不确定性函数f的值减少。
2. 可加性：两个独立事件发生的不确定性之和等于它们各自不确定性的总和。具体来说，如果有两个独立事件，它们发生的概率分别是 ``P1和P2，那么这两个事件联合产生的不确定性 f(p1,p2) 应该等于每个事件发生的不确定性之和，即 f(P1)+f(P2)`。

其中，在上述的公式当中，代表的是不确定性函数，代表的是概率函数，整体就是所有元素的信息熵之和。

1. 什么是减函数？

   减函数是两个函数，当其中一个函数的值增加时，另外一个函数的值减少；

2. 公式中的-号是什么意思？

   

   是不确定性函数的负号放到前面去了！