今天开始来讲相对熵,我们知道信息熵反应了一个系统的有序化程度,一个系统越是有序,那么它的信息熵就越低,反之就越高。下面是熵的定义
如果一个随机变量的可能取值为,对应的概率为,则随机变
量的熵定义为
有了信息熵的定义,接下来开始学习相对熵。
熵是随机变量不确定性的度量,不确定性越大,熵就越大,如果是常量,就是零。不确定性度量的本质就是信息量的期望。均匀分布是最不确定的分布(在没有任何条件下,就是不知道均值和方差的情况下)。如果在均值和方差都知道的情况下,
今天开始来讲相对熵,我们知道信息熵反应了一个系统的有序化程度,一个系统越是有序,那么它的信息熵就越低,反之就越高。下面是熵的定义
如果一个随机变量的可能取值为,对应的概率为,则随机变
量的熵定义为
有了信息熵的定义,接下来开始学习相对熵。
熵是随机变量不确定性的度量,不确定性越大,熵就越大,如果是常量,就是零。不确定性度量的本质就是信息量的期望。均匀分布是最不确定的分布(在没有任何条件下,就是不知道均值和方差的情况下)。如果在均值和方差都知道的情况下,