E_jasen的博客

原创 关于信息量、信息熵及信道容量的一些复习和总结

信息量定义：信息量是对事件的不确定性的度量，如果，则单位为bit，当取值为其他时，另有其他单位，本质意义大致相同。当随机变量取值为的概率为，则此时信息量为理解：信息量的概念其实表征的是未知的程度，举例说明，当概率，即概率无限趋向于1时，时候，则他的取值只能是，此时概率必定为1，信息量为0，即没有任何的未知信息，而当该变量不取时，则概率必定为0，则表明有无穷的未知信息。...