从信息量到信息熵再到交叉熵（Cross Entropy）及TensorFlow实现细节

目录

信息量

信息熵

交叉熵

TensorFlow实现

---

信息量

        信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是Shannon（香农）从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量，分子状态越混乱，熵值越高，分子状态越稳定，熵值越低。香农用信息熵的概念来描述信源的不确定度。

        通常，一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现机会多，不确定性小；反之不确定性就大。比如在星期一的时候，小明告诉你明天星期二，你会觉得他脑残，因为明天是星期二是一个确定的事实，发生的概率p=1，不存在不确定性，也就是说不确定性为0，从小明的这句话中你获取不到任何信息量，也就是信息量为0；又比如小明告诉你明天是星期三，你还是会觉的他脑残，因为明天不可能是星期三，发生的概率p=0，同样也不存在不确定性，从这句话中也获取不到任何信息。但是有一天，在你买了彩票以后，小明得知你中奖的消息，然后