机器学习1：信息熵

1.在信息论中，熵被用来衡量一个随机变量出现的期望值。它代表了在被接收之前，信号传输过程中损失的信息量，又被称为信息熵。信息熵也称信源熵、平均自信息量。

2.从直观上说，信息熵越大，变量包含的信息量越大，变量的不确定性也越大。一个事物内部会存在随机性，也就是不确定性，而从外部消除这个不确定性唯一的办法是引入信息。如果没有信息，任何公式或者数字的游戏都无法排除不确定性。几乎所有的自然语言处理，信息与信号处理的应用都是一个消除不确定性的过程。

3.在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里， 消息代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）来自信源的另一个特征是样本的概率分布。这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息。由于一些其他的原因（下面会有解释），把信息（熵）定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值（即期望）就是这个分布产生的信息量的平均值（即熵）。熵的单位通常为比特，但也用Sh、nat、Hart计量，取决于定义用到对数的底。

4.香农把随机变量 X 的熵值 Η（希腊字母Eta）定义如下，其值域为 {x₁,..., x_n}：   

 

 其中， P 为 X 的概率质量函数（probability mass function），E 为期望函       数，而 I(X) 是 X 的信息量（又称为自信息）。I(X) 本身是个随机变数。

 当取自有限的样本时，熵的公式可以表示为： 

 

在这里 b 是对数所使用的底，通常是 2, 自然常数 e，或是10。当b = 2，熵的单    位是bit；当b = e，熵的单位是 nat；而当 b = 10,熵的单位是 Hart。

p_i = 0时，对于一些i值，对应的被加数0 log_b 0的值将会是0，这与极限一致。

还可以定义事件 X 与 Y 分别取 x_i 和 y_j 时的条件熵为

其中 p(x_i, y_j) 为 X = x_i 且 Y = y_j 时的概率。这个量应当理解为你知道 Y 的值    前提下随机变量 X 的随机性的量。

例子如下：

如果有一个系统S内存在多个事件S = {E₁,...,E_n}，每个事件的概率分布 P = {p₁,    ..., p_n}，则每个事件本身的讯息（自信息）为：

（对数以2为底，单位是比特(bit)）

（对数以为底，单位是纳特/nats）

如英语有26个字母，假如每个字母在文章中出现次数平均的话，每个字母的讯息量    为：

而汉字常用的有2500个，假如每个汉字在文章中出现次数平均的话，每个汉字的信    息量为：