机器学习 最大熵模型

一.信息熵
在这里插入图片描述
1.信息熵
(1)概述:

该概念由克劳德·艾尔伍德·香农在1948年首次提出,最初来自于热力学中熵的概念.为避免混淆,故称为信息熵(Entropy).这是1个用于度量信息的不确定性的抽象概念.由于1条信息的信息量的大小与其不确定性有直接关系,如为了弄清楚1件高度不确定的事,就需要大量信息,因此对不确定性的度量就相当于对信息量(或预期需求的信息量)的度量

(2)定义:

信息熵 H ( X ) H(X) H(X)被定义为 H ( X ) = − ∑ x P ( x ) log ⁡ 2 P ( x ) H(X)=-\sum_x{P(x)\log_2P(x)} H(X)=xP(x)log2P(x)
单位为比特(bit).信息熵也可以 e e e为底数,即 H ( X ) = − ∑ x P ( x ) ln ⁡ P ( x ) H(X)=-\sum_x{P(x)\ln P(x)} H(X)=xP(x)lnP(x)此时单位为奈特(nat).变量的不确定性越大,信息熵也就越大:当 X ∼ U ( a , b ) X\sim U(a,b) XU(a,b)时,信息熵最大;当 X X X为定值时,信息熵最小;在给定均值 μ μ μ和方差 σ 2 σ^2 σ2的前提下,当 X ∼ N ( μ , σ 2 ) X\sim N(μ,σ^2) XN(μ,σ2)时,信息熵最大

(3)最大熵定理:

最大熵定理表明 0 ≤ H ( X ) ≤ log ⁡ ∣ X ∣ 0≤H(X)≤\log{|X|} 0H(X)logX

(4)信息熵的加总:

各部分的信息熵可以进行加总:设总信息熵为 H ( X ) H(X) H(X),第 i i i部分的信息熵为 H i ( X ) H_i(X) Hi(X),第 i i i部分占总体的比例为 p i p_i pi,则 H ( X ) = ∑ i = 1 m p i H i ( X ) H(X)=\displaystyle\sum_{i=1}^mp_iH_i(X) H(X)=i=1mpiHi(X)

2.联合熵
(1)概述:

联合熵(Joint Entropy)用于度量2个事件共同发生时的不确定性

(2)定义:

随机变量 X , Y X,Y X,Y的联合熵被定义为 H ( X , Y ) = − ∑ x , y P ( x , y ) log ⁡ 2 P ( x , y ) H(X,Y)=-\sum_{x,y}P(x,y)\log_2P(x,y) H(X,Y)=x,yP(x,y)log2P(x,y)

3.条件熵
(1)概述:

条件熵(Conditional Entropy)用于度量在1个事件发生的前提下,另1个事件的不确定性

注:当熵和条件熵中的概率由数据估计(特别是极大似然估计)得到时,称为经验熵(Empirical Entropy)和经验条件熵(Empirical Conditional Entropy)

(2)定义:

随机变量 X , Y X,Y X,Y的条件熵被定义为 H ( X   ∣   Y ) = H ( X , Y ) − H ( Y ) = − ∑ x , y P ( x , y ) log ⁡ 2 P ( x   ∣   y ) H(X\,|\,Y)=H(X,Y)-H(Y)=-\sum_{x,y}P(x,y)\log_2P(x\,|\,y) H(XY)=H(X,Y)H(Y)=x,yP(x,y)log2P(xy)可证明 H ( X   ∣   Y ) ≤ H ( X ) H(X\,|\,Y)≤H(X) H(XY)H(X)

4.相对熵
(1)概述:

相对熵(Relative Entropy)又称交叉熵/互熵(Cross Entropy),鉴别信息(Authentication Information),库尔贝克-莱布勒熵(Kullback-Leibler Entropy),库尔贝克-莱布勒散度(Kullback-Leibler Divergence;KL Divergence)或信息散度(Information Divergence),是2个概率分布间差异的非对称性度量

(2)定义:

概率分布 P ( x ) , Q ( x ) P(x),Q(x) P(x),Q(x)的相对熵被定义为 K L ( P   ∣ ∣   Q ) = ∑ x P ( x ) log ⁡ 2 P ( x ) log ⁡ 2 Q ( x ) = E x ∼ P ( x ) ( log ⁡ 2 P ( x ) Q ( x ) ) ≥ 0 KL(P\,||\,Q)=\sum_xP(x)\frac{\log_2P(x)}{\log_2Q(x)}=E_{x\sim P(x)}(\log_2\frac{P(x)}{Q(x)})≥0 KL(PQ)=xP(x)log2Q(x)log2P(x)=ExP(x)(log2Q(x)P(x))0当且仅当 P = Q , K L ( P   ∣ ∣   Q ) = 0 P=Q,KL(P\,||\,Q)=0 P=Q,KL(PQ)=0.通常 K L ( P   ∣ ∣   Q ) ≠ K L ( Q   ∣ ∣   P ) KL(P\,||\,Q)≠KL(Q\,||\,P) KL(PQ)=KL(QP)

(3)概率分布的近似:

假设存在某个未知的概率分布 P P P,希望使用概率分布 Q Q Q来近似 P P P,则有2种可能的目标:
①目标为 min ⁡ Q   K L ( Q   ∣   P ) \underset{Q}{\min}\:{KL(Q\,|\,P)} QminKL(QP)此时需要在 P P P接近0的位置, Q Q Q也尽可能接近0,会得到比较窄的分布
②目标为 min ⁡ Q   K L ( P   ∣   Q ) \underset{Q}{\min}\:{KL(P\,|\,Q)} QminKL(PQ)此时需要在 P P P远离0的位置, Q Q Q也尽可能远离0,会得到比较宽的分布

5.互信息
(1)概述:

互信息(Mutual Information)用于度量1个事件中包含的关于另1个事件的信息量

(2)定义:

随机变量 X , Y X,Y X,Y的互信息被定义为 I ( X , Y ) = K L ( P ( x , y )   ∣ ∣   P ( x ) P ( y ) ) = ∑ x , y P ( x , y ) log ⁡ 2 P ( x , y ) log ⁡ 2 P ( x ) P ( y ) I(X,Y)=KL(P(x,y)\,||\,P(x)P(y))=\sum_{x,y}P(x,y)\frac{\log_2P(x,y)}{\log_2P(x)P(y)} I(X,Y)=KL(P(x,y)P(x)P(y))=x,yP(x,y)log2P(x)P(y)log2P(x,y)

(3)互信息与联合熵:

可证明 I ( X , Y ) = H ( X ) − H ( X   ∣   Y ) = H ( X ) + H ( Y ) − H ( X , Y ) I(X,Y)=H(X)-H(X\,|\,Y)=H(X)+H(Y)-H(X,Y) I(X,Y)=H(X)H(XY)=H(X)+H(Y)H(X,Y)有些文献使用上述2式之一定义互信息

二.最大熵模型
1.最大熵原理:

"最大熵原理"(Maximum Entropy Principle)认为:在所有可能的概率模型中,熵最大的模型是最好的模型.若模型需要满足一些约束条件,则
最大熵原理要求在所有满足已知约束条件的模型中,找到熵最大的那个.也就是说在满足所有约束条件的前提下,不对未知情况做任何主观假设(称为
"无偏(好)原则",要求概率分布尽可能均匀).这时模型的熵最大,预测风险最小

2.最大熵模型

参见:https://zhuanlan.zhihu.com/p/29978153,https://blog.csdn.net/v_july_v/article/details/40508465

(1)概念:

"最大熵模型"(Maximum Entropy Model)是将最大熵原理应用到分类问题而得到的模型,即所有满足已知约束条件的模型中熵(通常使用条件
熵)最大(等价于概率分布最均匀)的那个,比如:

已知"学习"可能是动词或名词;可能是主语,谓语,宾语或定语.令 x 1 x_1 x1表示"学习"为名词, x 2 x_2 x2表示"学习"为动词, y 1 y_1 y1表示"学习"为主语, y 2 y_2 y2表示"学习"为谓语, y 3 y_3 y3表示"学习"为宾语, y 4 y_4 y4表示"学习"为定语.易知模型应满足 P ( x 1 ) + P ( x 2 ) = 1 P ( y 1 ) + P ( y 2 ) + P ( y 3 ) + P ( y 4 ) = 1 P(x_1)+P(x_2)=1\\P(y_1)+P(y_2)+P(y_3)+P(y_4)=1 P(x1)+P(x2)=1P(y1)+P(y2)+P(y3)+P(y4)=1根据无偏好原则,模型应满足 P ( x 1 ) = P ( x 2 ) P ( y 1 ) = P ( y 2 ) = P ( y 3 ) = P ( y 4 ) P(x_1)=P(x_2)\\P(y_1)=P(y_2)=P(y_3)=P(y_4) P(x1)=P(x2)P(y1)=P(y2)=P(y3)=P(y4)故最优模型为 P ( x 1 ) = P ( x 2 ) = 1 2 P ( y 1 ) = P ( y 2 ) = P ( y 3 ) = P ( y 4 ) = 1 4 P(x_1)=P(x_2)=\frac{1}{2}\\P(y_1)=P(y_2)=P(y_3)=P(y_4)=\frac{1}{4} P(x1)=P(x2)=21P(y1)=P(y2)=P(y3)=P(y4)=41若从其他渠道得知 P ( y 4 ) = 1 20 P(y_4)=\frac{1}{20} P(y4)=201</

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值