熵的相关概念及相互关系(信息熵,条件熵,相对熵,交叉熵,最大似然估计)
熵:系统混乱程度的度量,系统越混乱,熵越大。信息熵:信息量的大小的度量,用于描述随机变量的不确定度。事件的不确定性越大,则信息量越大,信息熵越大。定义如下:条件熵:表示在已知随机变量X的条件下随机变量Y的不确定性。定义如下:另外,,说明描述X和Y所需的信息(H(X,Y) )是描述X自己所需的信息,加上给定X的条件下具体化Y所需的额外信息。相对熵:又称为KL散度,用来衡量两个...
原创
2018-08-14 22:51:48 ·
6011 阅读 ·
0 评论