信息熵、条件熵、相对熵与交叉熵

1. 信息熵 information entropy

        熵 (entropy) 一词最初来源于热力学。1948年， Shannon（香农）首次将热力学中的熵引入信息论，也被称为香农熵 (Shannon entropy)或信息熵 (information entropy)，由此开启了信息论的先河。

        首先，信息是一个很抽象的概念，维基百科指出信息是经过处理、组织和结构化的数据。它为数据提供上下文并支持决策过程。信息与数据相关联。不同之处在于信息解决了不确定性。

         一条信息的信息量大小与它的不确定性有直接的关系。直观理解，信息量的度量就等于不确定性的多少。不确定性越高，信息熵越高，不确定性越低，信息熵越低。

       考虑一个离散的随机变量,取值个数有限，信息的量度依赖于概率分布，因此需要寻找一个函数，它是概率密度函数 的单调函数，以此表达信息的内容。如果有两个不相关的事件 和 ，那么观察两个事