熵
信息论中的熵,又叫信息熵。它是用来衡量,一个随机变量的不确定程度。
熵越大,他的不确定性越大。最大熵模型的假设就是基于此而来。
H(X)=E[I(xi)]=−∑n=1NP(xI)log(P(xi))
联合熵
联合熵用得比较少。它表示,我要描述这一对随机变量,平均下来我所需要的信息量。
H(X,Y)=−∑x∈X
信息论中的熵,又叫信息熵。它是用来衡量,一个随机变量的不确定程度。
熵越大,他的不确定性越大。最大熵模型的假设就是基于此而来。
联合熵用得比较少。它表示,我要描述这一对随机变量,平均下来我所需要的信息量。