最大期望算法（EM）

最大期望算法是一种迭代算法，用于含有隐变量的概率参数模型的最大似然估计或极大后验概率估计。

最大期望算法实现步骤：

初始化分布参数；

计算期望（E步，求Q函数）：利用当前估计得参数值计算隐变量的后验概率（即隐变量的期望）；

最大化Q函数（M步）：求Q函数获得极大值时的参数；新得到的参数重新用于E步，直到收敛。

python实现：

#EM算法用于求解含有隐变量的概率参数模型的最大似然估计
import numpy as np
import math
#以下数据为：进行5轮抛硬币，每轮10次，0、1表示反面和正面，每轮用的硬币是A、B中的一种，即在该实验中5轮实验具体使用硬币种类的情况为隐变量
data=np.array([[1,0,0,0,1,1,0,1,0,1],
               [1,1,1,1,0,1,1,1,1,1],
               [1,1,0,1,1,1,1,0,1,1],
               [1,0,1,0,0,0,1,1,0,0],
               [0,1,1,1,0,1,1,1,0,1]])
#thetaA、thetaB分别表示A硬币和B硬币出现正面的概率
#初始化参数
thetaA=0.5
thetaB=0.6
m,n=data.shape
headNums=data.sum(axis=1)
tailNums=n-headNums
# for i in range(10):
iters=100
tol=1e-6
it=0
while it<iters:
    pAHNum=0
    pATNum=0
    pBHNum=0
    pBTNum=0
    for headNum in headNums:
        pA=math.pow(thetaA,headNum)*math.pow((1-thetaA),(n-headNum))
        pB=math.pow(thetaB,headNum)*math.pow((1-thetaB),(n-headNum))
        pSum=pA+pB
        pA=pA/pSum
        pB=pB/pSum
        pAHNum+=headNum*pA
        pATNum+=(n-headNum)*pA
        pBHNum+=headNum*pB
        pBTNum+=(n-headNum)*pB
    thetaAo=pAHNum/(pAHNum+pATNum)
    thetaBo=pBHNum/(pBHNum+pBTNum)
    delta_change=np.abs(thetaA-thetaAo)
    if delta_change<tol:
        break
    else:
        thetaA=thetaAo
        thetaB=thetaBo
        it+=1
print(thetaA,thetaB,it)

# 结果：0.5195839356752803 0.7967887593831098 15

参考资料：https://blog.csdn.net/v_july_v/article/details/81708386