条件自信息量与互信息量的区别 前言 一、两者概念区分 1、自信息量 2、条件信息量 3、互信息量 二、两者公式 1、条件信息量 2、互信息量 总结 前言 在学习过程中我常将互信息量与条件自信息量两者混淆,在此做出总结加以区分 一、两者概念区分 因为条件信息量的本质是自信息量,因此我们先抛出自信息量的概念 1、自信息量 对 b j b_{j} bj 一无所知的情况下,对 a i a_{i} ai的不确定度 2、条件信息量 在已知 b j b_{j} bj的条件下, a i a_{i} ai仍然存在的不确定度 3、互信息量 在接受到 b j b_{j} bj后,获得的关于 a i a_{i} ai