信息量
定义:信息量是对事件的不确定性的度量,如果,则单位为bit,当取值为其他时,另有其他单位,本质意义大致相同。当随机变量取值为的概率为,则此时信息量为
理解:信息量的概念其实表征的是未知的程度,举例说明,当概率,即概率无限趋向于1,此时信息量将无限趋近于0,即表示几乎没有任何的未知信息,而当该变量不取1时,则概率无限趋近于0,则表明有无穷的未知信息,也就是不确定性是无穷大,即该变量几乎不可能不取1。
信息熵
定义:若随机变量
定义:信息量是对事件的不确定性的度量,如果,则单位为bit,当取值为其他时,另有其他单位,本质意义大致相同。当随机变量取值为的概率为,则此时信息量为
理解:信息量的概念其实表征的是未知的程度,举例说明,当概率,即概率无限趋向于1,此时信息量将无限趋近于0,即表示几乎没有任何的未知信息,而当该变量不取1时,则概率无限趋近于0,则表明有无穷的未知信息,也就是不确定性是无穷大,即该变量几乎不可能不取1。
定义:若随机变量