最大熵模型

 P(概率越大) -> H(X)熵值越小   === x越大---> y绝对值越小   x<=1

P(概率越小) -> H(X)熵值越大 === x越小---> y绝对值越小   x<=1

正好对数函数可以表达这个意思

log(p(x)) -> p(x)*log(p(x))    又因为 p(x)*log(p(x)) 为负数 -->加上负号变正  -p(x)*log(p(x))

假设有2个数  p(a)=0.9   p(b)=0.1   则熵的和为   -0.9*log(0.9) + （-0.1*log(0.1)）

得出熵公式 

 

熵代表的含义

有2个集合   A（1，2，3，4，5）    B（1，2） 哪个集合的熵大？

对A p(1)=p(2)=p(3)=p(4)=p(5)=0.2     对B p(1)=p(2)=0.5

H(A) = 5X(-0.2*log0.2) >> H(B) = 2X(-0.5*log0.5)

熵代表数据内部的混乱程度，数据种类越多，越混乱  熵越大   种类越单一  熵越小    当只有一种确定值时候 熵=0