【信息论】《吴军—信息论30讲》学习笔记（三）：条件熵和信息增益：你提供的信息到底值多少钱？

之前，吴军老师介绍了信息的正交关系，也就是寻找能够互补信息的重要性。之后，又介绍了互信息，讲了两条不同信息之间的相关性。

这一讲，我们更加系统地、量化地分析一下，如果别人你提供了一条信息，到底有多大的价值。下面用信息理论对这个问题做一个比较严格的分析。

我们假定，股市的涨跌是个随机变量，用X表示，对于她的全部的不确定性，就是X概率分布所对应的的信息熵，通常用H(X)表示。

如果你得到了一些内部消息，这些消息我们用Y来表示，那么股市对于你的不确定性就是Y条件下，X概率分布的信息熵，通常用H(X|Y)表示，它被称为条件熵，Y是条件。

也就是说，在别人眼里，股市的不确定性是H(X)，而在你的眼里，因为有了信息Y，因此它的不确定性变成了H(X|Y)。

在信息论中可以证明，H(X|Y)永远比H(X)小，或者相等。而等号成立的条件是，你得到的信息和股市无关，那么无关的消息既不会帮你也不会害你。

如果X和Y是等价信息，那这时，股市对于你来讲，就是确定的事情，它们的条件熵瞬间降到了0。注意，这里说的前提是，这件事只有你知道，别人都不知道。

那如果别人知道了，怎么办？对不起，由于市场的有效性，也就是股价能够充分反映所有信息，股价会在一瞬间上涨。这时，你再使用那条信息作出购买股票的决定，就挣不到钱了。也就是说，公司的股价已经包含了市场对回购股票那条信息的反应。

这也就是我们之前说的，同一条信息使用一万遍，只有第一次会产生结果，后面都不会产生结果。股市上的各种指数，大家都知道了，即使再有道理，一个人尽皆知的消息也没有用。

要讲清楚有效的信息这一点，我们就需要将一个信息增益（Information Gain，简称ID）的概念。

我们还是回到了解股市变化这个话题，在没有任何信息的条件下，它的不确定性是H(X)。在有了Y1这个有用信息后，它的不确定性变成了条件熵H(X|Y)，我们前面说了，它比H(X)有所减少。

那么Y1所带来的信息增益就是H(X) - H(X|Y)，我们协作IG(Y1)。

事实上具体到这个特殊的情况，IG就是X和Y之间的互信息，这个值越大，说明消除的不确定性就越大，X和Y越有相关性。

接下来，假设我们又有另一条信息Y2，它所带来的信息增益就是在原来Y1基础上的增加，我们写成IG(Y2)。

从数学上看，它们带来的信息增益，每一个都是在原来所有信息基础上递减的。

所以，在一开始，大家一无所知的时候，提供巨大的信息增益容易，后来则是在增益上补充而已，而且只有当这种补充是正交的信息时，才会显示出明显的进步。

对于个人，也是如此。第一个说出看法的，常常就成为了意见领袖，跟着发表看法的，大家其实记不住。这时，如果还想引人注意，就要提供之前谈到的正交的信息，也就说和别人已经提供的信息都不相关的。

很多人喜欢发表与众不同的意见，其实是有道理的，因为标新立异的观点，才有可能提供之前大家不了解的信息。当然那些观点本身需要有证据支持，符合逻辑。

所以，如果我们想做出一番事业，一定在一个信息量很少的领域里发奋图强。而去大公司，只能是极大的信息量的基础上，做出一点点信息增益，这个对个人的提升也是有限的。