《人工智能》工程师：最大熵和EM算法

最大熵

信息：i(x) = -log(p(x)) 

概率p是对确定性的度量，那么信息就是对不确定性的度量。

熵：

是对随机事件平均不确定性的度量。H(X) = -1*np.sum(p(x)*np.log(p(x))

平均互信息：信息增益

I(X;Y) = np.sum(P(x,y)*(np.log(P(x,y)/P(x)P(y)))

最大熵模型

熵最大的事物，最可能接近它的真实状态。

熵最大的模型就是最好的模型。

最大熵模型进行机器学习

条件熵：

H(y|x) = -1 * (np.sum( P(y,x) * (np.log(P(y|x))) 第一个是联合概率，第二个是条件概率。

目的是要找出条件熵，P*表示理想概率。