初步了解Renyi熵

最近接触了Renyi熵，发现这东西原来是香农熵的祖宗。相信一部分信息专业的学生在学信息论时只涉及了香农熵，然而，香农熵只是Renyi熵系列中的一种熵。下文翻译自wikipedia，提供了关于Renyi熵一个直观的认识。

在信息论中，Renyi系列熵包括香农熵，Hartley熵，最小熵和冲突熵。熵量化了一个系统的多样性，不确定性或者随机性。Renyi熵由Alfred Renyi的名字命名。

Renyi系列熵不仅在统计学和社会生态学中有重要作用，亦在量子信息中作为量子纠结的测量度被广泛使用。（提供了两个应用实例）。

定义：

次数a的Renyi熵，a≥0且a≠1，定义如下：

 （调整a的值，可以得到Renyi系列熵中的不同种类的熵）

这里，X是一个离散随变量，按照概率密度Pi，i=1,.....,n在空间{1,........,n}内取值。若所有的Pi=1/n，即概率密度为平均分布，此时  。一般的，对于任何随机变量X，Ha(X)是关于a的非增函数。

实际应用中经常利用Renyi熵和概率向量的Lp范数的关系，如下：

其中右端括号中为La范数。这里，离散随机变量P=(p1，p2......，pn)被表示为N维向量的形式。

Renyi熵对所有a≥0而言都是Schur凸的。

Renyi熵的特殊情形

当度数a逼近0时，与随机变量X的函数密度无关，Renyi熵更加平等的衡量所有可能的事件(随机变量X的每个可能的取值)。当取a→0的极限，Renyi熵为log|X|，其中|X|为随机变量X的取值的个数。当取a→1的极限，Renyi熵等于香农熵。当a→正无穷，

Hartley熵/最大熵

当a逼近0的Renyi熵，即H0(X)=logn=log|X|

香浓熵

当a逼近1时的Renyi熵，上面已介绍。

冲突熵

当a=2时的Renyi熵

其中X和Y是独立同分布的随机变量

最小熵

当a趋于正无穷时的Renyi熵，表示为：

待更新