1.信息量
发生概率越小,信息量越大;发生概率越大,信息量越小
2.熵
熵(entropy):上面的Ⅰ(x)是指在某个概率分布之下,某个概率值对应的信息量的公式.那么我们要知道这整个概率分布对应的信息量的平均值.这个平均值就叫做随机变量x的熵
基于图来看
1.信息量
发生概率越小,信息量越大;发生概率越大,信息量越小
2.熵
熵(entropy):上面的Ⅰ(x)是指在某个概率分布之下,某个概率值对应的信息量的公式.那么我们要知道这整个概率分布对应的信息量的平均值.这个平均值就叫做随机变量x的熵
基于图来看