熵,条件熵,相对熵,互信息的相关定义及公式推导
转自https://www.cnblogs.com/baby-lily/p/12859827.html熵熵是随机变量不确定性的度量,不确定性越大,熵值越大,若随机变量退化成定值,熵为0,均匀分布是最不确定的分布。熵其实定义了一个函数(概率分布函数)到一个值(信息熵)的映射。熵的定义公式如下:在经典熵的定义中,底数是2,此时熵的单位是bit,若底数是e,则熵的单位是nat(奈特)联合熵以及条件熵两个随机变量X, Y的联合分布,可以形成联合熵Joint Entropy,用H(X,Y)表示,那么我们不
转载
2020-08-06 15:53:51 ·
3918 阅读 ·
0 评论