信息量和信息熵

参考：RethinkFun 【机器学习】直观理解信息量和信息熵的含义

总结

信息量越大-抽到这个结果的概率很低-不确定性越高-信息价值越高
信息量：抽到当前事件带来的信息价值，一般是概率越小，带来的价值越大，这次抽样所能排除法的不确定也就越大

信息熵：一个系统信息量的数学期望。一般一个系统的期望信息量越大，代表单次抽样抽到这个期望的概率很小，代表系统越混乱，不确定性越高。
一个系统如果在样本种类确定的情况下，抽样概率越平均，信息熵越大，因为每次抽样结果都有最大的概率与其他几次不同，所以增大了抽样结果的不确定性

介绍

信息的作用是消除不确定性。

一句话的信息量和它能消除的不确定性有关。
比如掷骰子，猜点数。

和朋友玩一个小游戏。猜小球的数字。你可以问他问题，他只能回答你yes no。为了体现信息的价值，每问一次问题都需要支付朋友1元钱。

由摸小球的概率理解信息熵。
可以设定每个小球被摸到的概率。并且每次摸球的结果以邮件告知。

第一回，摸了5次球，发了5封邮件告知摸球的结果。如上图。

小概率事件发生的信息量特别大。

这里的邮件平均信息量就是信息熵。它描述的是一个系统内发生一个事件时，这个事件能给你带来的信息量的期望。

信息熵的公式就是这个系统内所有事件发生时提供的信息量与它发生概率的乘积进行累加。

感性理解就是，一个系统如果是由大量小概率事件构成，那么它的信息熵就大。信息熵描述的是一个系统的复杂或者混乱程度，这一点和热力学里的熵是一致的。