香农熵(Shannon entropy)
信息熵(又叫香农熵)反映了一个系统的无序化(有序化)程度,一个系统越有序,信息熵就越低,反之就越高。
如果一个随机变量
X
的可能取值为
相对熵(relative entropy)
所谓相对,自然在两个随机变量之间,又称互熵,Kullback–Leibler divergence(K-L 散度)等。
信息熵(又叫香农熵)反映了一个系统的无序化(有序化)程度,一个系统越有序,信息熵就越低,反之就越高。
如果一个随机变量
X
的可能取值为
所谓相对,自然在两个随机变量之间,又称互熵,Kullback–Leibler divergence(K-L 散度)等。