EM算法1

参考资料：李航《统计学习方法2》；从最大似然到EM算法浅解
阅读本文需要有基本机器学习知识

EM算法2-另一种推导方式

背景

• 问题：具有隐变量的MLE（极大似然估计）
• 难点：隐变量的出现，导致普通求极值点的方法可能难以求解；如下，可以看到出现和或者积分的log以及未观测到的数据Z
  $$L(\theta )=logP(Y|\theta )=log\sum _{Z}P(Y,Z|\theta )$$
• 解决方法：既然解析解不好求，那么就考虑用迭代的方式求解（$\theta$），如果有个迭代的方向（如爬梯子），能让我们逐步找到更合适的解（${\theta }_i$->${\theta }_{i+1}$可使$L(\theta )$增大），那就持续迭代即可，直到满足终止条件停止（如$L(\theta )$增益很少或者）；

推导

• 以下为公式推导（既然是寻找迭代递增的方向，那就通过做差来列公式；以离散形式举例）
  $$\begin{array}{rl}& L(\theta )-L({\theta }_i)\\ & =log\sum _{Z}P(Y,Z|\theta )-logP(Y|{\theta }_i)\\ & =log\sum _{Z}P(Z|Y,{\theta }_i)\frac{P(Y,Z|\theta )}{P(Z|Y,{\theta }_i)}-logP(Y|{\theta }_i)\\ & \ge \sum _{Z}P(Z|Y,{\theta }_i)log\frac{P(Y,Z|\theta )}{P(Z|Y,{\theta }_i)}-logP(Y|{\theta }_i)（根据jenson不等式）\\ & =\sum _{Z}P(Z|Y,{\theta }_i)log\frac{P(Y,Z|\theta )}{P(Z|Y,{\theta }_i)\ast P(Y|{\theta }_i)}\\ & =B^{\prime }(\theta ,{\theta }_i)\\ & （书上定义B(\theta ,{\theta }_i)=B^{\prime }(\theta ,{\theta }_i)+L({\theta }_i)，显然B为L(\theta )的下界；这里以B^{\prime }推导）\\ & ----------------------\\ & 分析：当\theta ={\theta }_i时，B^{\prime }(\theta ,{\theta }_i)=0，如果能针对该函数寻找关于\theta 的极大值点{\theta }_{i+1}，可使B^{\prime }\ge 0\\ & =>L({\theta }_{i+1})-L({\theta }_i)\ge 0\\ & =>L({\theta }_{i+1})\ge L({\theta }_i)\\ & 由此，令\\ & ----------------------\\ & {\theta }_{i+1}\\ & =\underset{\theta }{\mathrm{argmax}}{B}^{\prime }(\theta ,{\theta }_i)\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{Z}P(Z|Y,{\theta }_i)log\frac{P(Y,Z|\theta )}{P(Z|Y,{\theta }_i)\ast P(Y|{\theta }_i)}\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{Z}P(Z|Y,{\theta }_i)logP(Y,Z|\theta )（去掉与\theta 无关的项）\\ & =\underset{\theta }{\mathrm{argmax}}Q(\theta ,{\theta }_i)\end{array}$$
• $Q函数（蓝色式子）的意义：完全数据(即P(Y,Z|\theta ))的对数似然关于特定时刻(\theta ={\theta }_i)隐变量后验分布(即P(Z|Y,{\theta }_i))的期望；$
• 得到Q函数及计算$\underset{\theta }{\mathrm{argmax}}$为EM算法里完整的一次参数迭代，通过如此反复迭代（对下界的不断提升）逼近MLE；
• 迭代终止条件：${\theta }_{i+1}-{\theta }_i足够小，或者Q提升很少$
• 直观解释：图中B函数为上述红色式子对应的$B(\theta ,{\theta }_i)$（图来自李书）
• 算法其他说明：
• 另一种推导方式（可能比上一种推导方式绕一点）
  • 直接从$L(\theta )$ 入手
    $$\begin{array}{rl}& L(\theta )\\ & =log\sum _{Z}P(Y,Z|\theta )\\ & =log\sum _{Z}Q(Z|Y,\theta )\frac{P(Y,Z|\theta )}{Q(Z|Y,\theta )}\\ & \ge \sum _{Z}Q(Z|Y,\theta )\ast log\frac{P(Y,Z|\theta )}{Q(Z|Y,\theta )}（jensen不等式）\\ & =B^{\prime }(\theta )\\ & --------------------\\ & 分析1：\\ & B^{\prime }(\theta )称为L(\theta )的下界；\\ & 上述不等式等号要成立，要求\\ & \frac{P(Y,Z|\theta )}{Q(Z|Y,\theta )}=C（C为一个常数）\\ & =>P(Y,Z|\theta )=Q(Z|Y,\theta )\ast C\\ & =>\int P(Y,Z|\theta )dZ=P(Y|\theta )=\int Q(Z|Y,\theta )\ast CdZ=C\\ & =>Q(Z|Y,\theta )=P(Y,Z|\theta )/C=P(Y,Z|\theta )/P(Y|\theta )=P(Z|Y,\theta )\\ & 可知，对\forall \theta ，Q(Z|Y,\theta )=P(Z|Y,\theta )时，\\ & B^{\prime }(\theta )=L(\theta )\\ & 即下界等于上界；\\ & --------------------\\ & 分析2：\\ & 上述Q的形式为Q(Z|Y,\theta )，只是为了和第一种推导方法保持一致；\\ & 但其实Q的形式可以是任意关于Z（隐变量）的分布，可能与\theta 无关；\\ & 理解这一点有助于理解为什么可以利用迭代逼近MLE的解；\\ & 所以更一般的，我们把Q的形式写成Q(Z)；\\ & 以下开始说明如何迭代；\\ & --------------------\\ & 假设t时刻，\theta ={\theta }_t，则\\ & B^{\prime }(\theta )=B^{\prime }({\theta }_t)\\ & =\sum _{Z}Q(Z)\ast log\frac{P(Y,Z|{\theta }_t)}{Q(Z)}\\ & \le L({\theta }_t)\\ & 当且仅当Q(Z)=P(Z|Y,{\theta }_t)时，B^{\prime }({\theta }_t)=L({\theta }_t)\\ & 令Q_t(Z)=P(Z|Y,{\theta }_t)\\ & \ast 之所以引入Q_t(Z)，是为了提醒读者应将P(Z|Y,{\theta }_t)视为只关于Z的函数，\\ & \ast 即视{\theta }_t为常数，P(Z|Y,{\theta }_t)只是Q(Z)丰富形式中的一种；\\ & 令B^{\prime }({\theta }_t,Q_t(Z))=L({\theta }_t)\\ & =>B^{\prime }({\theta }_t,Q_t(Z))\\ & =\sum _Z{Q}_t(Z)\ast log\frac{P(Y,Z|{\theta }_t)}{Q_t(Z)}（1）\\ & 式(1)的工作是将下界提升到当前参数点（{\theta }_t）的上界，因有Expectation形式，故称E步\\ & 将B^{\prime }({\theta }_t,Q_t(Z))视为关于{\theta }_t的函数（t不重要，即也可视为关于\theta 的函数），\\ & 则存在{\theta }_{t+1}\\ & =>{\theta }_{t+1}=\underset{{\theta }_t}{\mathrm{argmax}}{B}^{\prime }({\theta }_t,Q_t(Z))（2）\\ & 式(2)的工作是将当前参数点（{\theta }_t）已最优的下界通过寻找新的参数点（{\theta }_{t+1}）进一步提升，因有Max故称M步\\ & \ast 再次提醒Q_t(Z)=P(Z|Y,{\theta }_t)中的{\theta }_t需当做常数对待，不参与上面的argmax；\\ & =>L({\theta }_t)\\ & =B^{\prime }({\theta }_t,Q_t(Z))（其中Q_t(Z)=P(Z|Y,{\theta }_t)）\\ & \le \sum _Z{Q}_t(Z)\ast log\frac{P(Y,Z|{\theta }_{t+1})}{Q_t(Z)}\\ & =B^{\prime }({\theta }_{t+1},Q_t(Z))\\ & \ast \ast 迭代\ast \ast ：如上，通过{\theta }_t=>{\theta }_{t+1}，我们使下界B^{\prime }({\theta }_t)在最优的点B^{\prime }({\theta }_t,Q_t(Z))=L({\theta }_t)上进一步提升了\\ & 但是\\ & B^{\prime }({\theta }_{t+1},Q_t(Z))\\ & \le \sum _Z{Q}_{t+1}(Z)\ast log\frac{P(Y,Z|{\theta }_{t+1})}{Q_{t+1}(Z)}（其中Q_{t+1}(Z)=P(Z|Y,{\theta }_{t+1})）\\ & =B^{\prime }({\theta }_{t+1},Q_{t+1}(Z))\\ & =L({\theta }_{t+1})\\ & 即{\theta }_t=>{\theta }_{t+1}虽然促使下界超过原来参数点{\theta }_t对应的上界L({\theta }_t)，但是遇到了新的参数点{\theta }_{t+1}对应的上界L({\theta }_{t+1})\\ & \ast \ast 迭代\ast \ast ：接下来，重复式子（1）的工作，如此反复迭代寻找最优解\end{array}$$
  • 上述(1)式即为E步，(2)式为M步
  • 直观解释

举例和实现

• 高斯混合模型：完整推导过程较繁琐，可参考《统计学习方法2》CH9-9.3
• 三硬币模型：推导思想类似高斯混合模型，但是简单一点
  • 题目：
  • 解析：
    隐 变 量 为 A 抛 掷 的 结 果 ， 记 为 γ j k ∈ [ 0 , 1 ] ， 其 中 j 、 k 为 整 数 且 j ∈ [ 0 , n − 1 ] ， k ∈ [ 0 , 1 ] γ j k 表 示 第 j 条 观 察 数 据 来 自 第 k 个 硬 币 （ k = 1 表 示 B 对 应 A 的 正 面 ， k = 0 表 示 C 对 应 A 反 面 ） ; 记 参 数 ( π , p , q ) = θ 1 ◯ E 步 ： 明 确 Q ( Y , θ i , θ ) 的 具 体 形 式 Q ( Y , θ i , θ ) = ∑ γ P ( γ ∣ Y , θ i ) ∗ l o g P ( Y , γ ∣ θ ) = E P ( γ ∣ Y , θ i ) [ l o g P ( Y , γ ∣ θ ) ] l o g P ( Y , γ ∣ θ ) = l o g ∏ j n P ( y j , r j 0 , r j 1 ∣ θ ) = ∑ j n l o g [ P ( y j , r j 0 , r j 1 ∣ θ ) ] = ∑ j n l o g [ P ( y j ∣ γ j 0 , γ j 1 , θ ) ∗ P ( γ j 0 , γ j 1 ∣ θ ) ] = ∑ j n l o g { [ q y j ( 1 − q ) 1 − y j ( 1 − π ) ] γ j 0 ∗ [ p y j ( 1 − p ) 1 − y j π ] γ j 1 ] } = ∑ j n { γ j 0 l o g A + γ j 1 l o g B } （ ∗ ） = ∑ j n [ y j γ j 0 l o g q + ( 1 − y j ) γ j 0 l o g ( 1 − q ) + γ j 0 l o g ( 1 − π ) + y j γ j 1 l o g p + ( 1 − y j ) γ j 1 l o g ( 1 − p ) + γ j 1 l o g π ] （ ∗ ∗ ） 注 ： （ ∗ ） 式 ， A = q y j ( 1 − q ) 1 − y j ( 1 − π ) ， B = p y j ( 1 − p ) 1 − y j π Q ( Y , θ i , θ ) = E P ( γ ∣ Y , θ i ) [ l o g P ( Y , γ ∣ θ ) ] = ∑ j n { E P ( γ ∣ Y , θ i ) ( γ j 0 ) ∗ l o g A + E P ( γ ∣ Y , θ i ) ( γ j 1 ) ∗ l o g B } （ 1 ） （ 根 据 ∗ 式 可 得 ） 而 E P ( γ ∣ Y , θ i ) ( γ j 1 ) = P ( γ j 1 = 1 ∣ y j , θ i ) （ 根 据 i i d 性 质 , 只 有 该 项 与 γ j 1 有 关 ） = P ( γ j 1 = 1 , y j ∣ θ i ) P ( γ j 1 = 1 , y j ∣ θ i ) + P ( γ j 0 = 1 , y j ∣ θ i ) = P ( y j ∣ γ j 1 = 1 , θ i ) ∗ P ( γ j 1 = 1 ∣ θ i ) P ( y j ∣ γ j 1 = 1 , θ i ) ∗ P ( γ j 1 = 1 ∣ θ i ) + P ( y j ∣ γ j 0 = 1 , θ i ) ∗ P ( γ j 0 = 1 ∣ θ i ) = p i y j ( 1 − p i ) 1 − y j ∗ π i p i y j ( 1 − p i ) 1 − y j ∗ π i + q i y j ( 1 − q i ) 1 − y j ∗ ( 1 − π i ) （ 2 ） 同 样 E P ( γ ∣ Y , θ i ) ( γ j 0 ) = q i y j ( 1 − q i ) 1 − y j ∗ ( 1 − π i ) p i y j ( 1 − p i ) 1 − y j ∗ π i + q i y j ( 1 − q i ) 1 − y j ∗ ( 1 − π i ) （ 3 ） 将 上 述 （ 2 ） 式 （ 3 ） 式 带 入 （ 1 ） 式 ， 即 可 得 Q ( Y , θ i , θ ) 的 具 体 形 式 2 ◯ M 步 ： 对 上 述 Q ( Y , θ i , θ ) 的 具 体 形 式 求 θ （ 或 具 体 各 参 数 a r g m a x ） 需 要 求 极 大 值 的 参 数 θ 包 括 ( π , p , q ) ， 可 通 过 求 各 参 数 的 导 数 求 极 大 值 ； 对 π ， 令 ∂ Q ( Y , θ i , θ ) ∂ π = 0 = > ∂ ∑ j n [ E γ j 0 ∗ l o g ( 1 − π ) + E γ j 1 ∗ l o g π ] ∂ π （ 利 用 ∗ ∗ 式 并 取 与 π 有 关 的 项 ） = ∑ j n ( E γ j 0 ∗ 1 π − 1 + E γ j 1 ∗ 1 π ) = 0 = > π i + 1 = 1 n ∑ j = 1 n E P ( γ ∣ Y , θ i ) ( γ j 1 ) （ 注 意 这 里 的 E P 即 （ 2 ） 式 ， 已 知 ） 同 理 ， 对 p ， q ， 令 { ∂ Q ( Y , θ i , θ ) ∂ p = 0 ∂ Q ( Y , θ i , θ ) ∂ p = 0 = > { p i + 1 = ∑ j n E P ( γ ∣ Y , θ i ) ( γ j 1 ) ∗ y j ∑ j n E P ( γ ∣ Y , θ i ) ( γ j 1 ) q i + 1 = ∑ j n [ 1 − E P ( γ ∣ Y , θ i ) ( γ j 1 ) ] ∗ y j ∑ j n [ 1 − E P ( γ ∣ Y , θ i ) ( γ j 1 ) ] 如 此 ， 完 成 了 一 次 参 数 的 迭 代 ， 后 续 重 复 迭 代 至 收 敛 即 可 \begin{aligned} & 隐变量为A抛掷的结果，记为\gamma_{jk} \in [0,1]，其中j、k为整数且j\in[0,n-1]，k\in[0, 1]\\ & \gamma_{jk}表示第j条观察数据来自第k个硬币（k=1表示B对应A的正面，k=0表示C对应A反面）; \\ & 记参数(\pi,p,q)=\theta \\ & \text{\textcircled 1} E步：明确Q(Y,\theta_i,\theta)的具体形式 \\ & Q(Y,\theta_i, \theta) \\ & = \sum_\gamma P(\gamma|Y,\theta_i)*logP(Y,\gamma|\theta)\\ & = E_{P(\gamma|Y,\theta_i)}[logP(Y,\gamma|\theta)] \\ & \\ & logP(Y,\gamma|\theta) \\ & = log\prod_j^n P(y_j, r_{j0}, r_{j1}|\theta) \\ & = \sum_j^n log[P(y_j, r_{j0}, r_{j1}|\theta)] \\ & = \sum_j^n log[P(y_j|\gamma_{j0},\gamma_{j1},\theta)*P(\gamma_{j0},\gamma_{j1}|\theta)] \\ & =\sum_j^nlog \lbrace [q^{y_j} (1-q)^{1-y_j} (1-\pi)]^{\gamma_{j0}}*[p^{y_j} (1-p)^{1-y_j} \pi]^{\gamma_{j1}}] \rbrace \\ & = \sum_j^n\lbrace \gamma_{j0}logA + \gamma_{j1}logB \rbrace （*）\\ & = \sum_j^n[y_j\gamma_{j0}logq+(1-y_j)\gamma_{j0}log(1-q)+\gamma_{j0}log(1-\pi) + y_j\gamma_{j1}logp+(1-y_j)\gamma_{j1}log(1-p)+\gamma_{j1}log\pi] （**）\\ & 注：（*）式，A=q^{y_j} (1-q)^{1-y_j} (1-\pi)，B=p^{y_j} (1-p)^{1-y_j} \pi\\ & \\ & Q(Y,\theta_i,\theta) \\ & = E_{P(\gamma|Y,\theta_i)}[logP(Y,\gamma|\theta)] \\ & = \sum_j^n\lbrace E_{P(\gamma|Y,\theta_i)}(\gamma_{j0})*logA + E_{P(\gamma|Y,\theta_i)}(\gamma_{j1})*logB \rbrace （1）（根据*式可得）\\ & 而 \\ & E_{P(\gamma|Y,\theta_i)}(\gamma_{j1}) \\ & = P(\gamma_{j1}=1|y_j,\theta_i) （根据iid性质,只有该项与\gamma_{j1}有关）\\ & = \frac {P(\gamma_{j1}=1,y_j|\theta_i)} {P(\gamma_{j1}=1,y_j|\theta_i)+P(\gamma_{j0}=1,y_j|\theta_i)} \\ & = \frac {P(y_j|\gamma_{j1}=1,\theta_i) * P(\gamma_{j1}=1|\theta_i)} {P(y_j|\gamma_{j1}=1,\theta_i) * P(\gamma_{j1}=1|\theta_i) + P(y_j|\gamma_{j0}=1,\theta_i) * P(\gamma_{j0}=1|\theta_i)} \\ & = \frac {p_i^{y_j}(1-p_i)^{1-y_j}*\pi_i} {p_i^{y_j}(1-p_i)^{1-y_j}*\pi_i + q_i^{y_j}(1-q_i)^{1-y_j}*(1-\pi_i)} （2） \\ & 同样 \\ & E_{P(\gamma|Y,\theta_i)}(\gamma_{j0}) \\ & = \frac {q_i^{y_j}(1-q_i)^{1-y_j}*(1-\pi_i)} {p_i^{y_j}(1-p_i)^{1-y_j}*\pi_i + q_i^{y_j}(1-q_i)^{1-y_j}*(1-\pi_i)} （3） \\ & \\ & 将上述（2）式（3）式带入（1）式，即可得Q(Y,\theta_i, \theta)的具体形式 \\ & \\ & \text{\textcircled 2} M步：对上述Q(Y,\theta_i, \theta)的具体形式求\theta（或具体各参数argmax） \\ & 需要求极大值的参数\theta包括(\pi, p, q)，可通过求各参数的导数求极大值； \\ & 对\pi，令 \\ & \frac {\partial Q(Y,\theta_i,\theta)}{\partial \pi} = 0\\ & => \frac {\partial \sum_j^n[E\gamma_{j0}*log(1-\pi) + E\gamma_{j1}*log\pi] } {\partial \pi} （利用**式并取与\pi有关的项）\\ & = \sum_j^n(E\gamma_{j0} * \frac {1} {\pi-1} + E\gamma_{j1}* \frac {1} {\pi}) \\ & = 0 \\ & => \pi_{i+1} = \frac {1} {n} \sum_{j=1}^n E_{P(\gamma|Y,\theta_i)}(\gamma_{j1}) （注意这里的E_P即（2）式，已知）\\ & 同理，对p，q，令 \\ & \begin{dcases} \frac {\partial Q(Y,\theta_i,\theta)}{\partial p} = 0 \\ \frac {\partial Q(Y,\theta_i,\theta)}{\partial p} = 0 \end{dcases} \\ & => \begin{dcases} p_{i+1} = \frac {\sum_j^nE_{P(\gamma|Y,\theta_i)}(\gamma_{j1})*y_j} {\sum_j^n E_{P(\gamma|Y,\theta_i)}(\gamma_{j1})} \\ q_{i+1} = \frac {\sum_j^n[1-E_{P(\gamma|Y,\theta_i)}(\gamma_{j1})]*y_j} {\sum_j^n [1-E_{P(\gamma|Y,\theta_i)}(\gamma_{j1})]} \end{dcases} \\ & 如此，完成了一次参数的迭代，后续重复迭代至收敛即可 \\ & \\ \end{aligned} ​隐变量为A抛掷的结果，记为γjk​∈[0,1]，其中j、k为整数且j∈[0,n−1]，k∈[0,1]γjk​表示第j条观察数据来自第k个硬币（k=1表示B对应A的正面，k=0表示C对应A反面）;记参数(π,p,q)=θ1◯E步：明确Q(Y,θi​,θ)的具体形式Q(Y,θi​,θ)=γ∑​P(γ∣Y,θi​)∗logP(Y,γ∣θ)=EP(γ∣Y,θi​)​[logP(Y,γ∣θ)]logP(Y,γ∣θ)=logj∏n​P(yj​,rj0​,rj1​∣θ)=j∑n​log[P(yj​,rj0​,rj1​∣θ)]=j∑n​log[P(yj​∣γj0​,γj1​,θ)∗P(γj0​,γj1​∣θ)]=j∑n​log{[qyj​(1−q)1−yj​(1−π)]γj0​∗[pyj​(1−p)1−yj​π]γj1​]}=j∑n​{γj0​logA+γj1​logB}（∗）=j∑n​[yj​γj0​logq+(1−yj​)γj0​log(1−q)+γj0​log(1−π)+yj​γj1​logp+(1−yj​)γj1​log(1−p)+γj1​logπ]（∗∗）注：（∗）式，A=qyj​(1−q)1−yj​(1−π)，B=pyj​(1−p)1−yj​πQ(Y,θi​,θ)=EP(γ∣Y,θi​)​[logP(Y,γ∣θ)]=j∑n​{EP(γ∣Y,θi​)​(γj0​)∗logA+EP(γ∣Y,θi​)​(γj1​)∗logB}（1）（根据∗式可得）而EP(γ∣Y,θi​)​(γj1​)=P(γj1​=1∣yj​,θi​)（根据iid性质,只有该项与γj1​有关）=P(γj1​=1,yj​∣θi​)+P(γj0​=1,yj​∣θi​)P(γj1​=1,yj​∣θi​)​=P(yj​∣γj1​=1,θi​)∗P(γj1​=1∣θi​)+P(yj​∣γj0​=1,θi​)∗P(γj0​=1∣θi​)P(yj​∣γj1​=1,θi​)∗P(γj1​=1∣θi​)​=piyj​​(1−pi​)1−yj​∗πi​+qiyj​​(1−qi​)1−yj​∗(1−πi​)piyj​​(1−pi​)1−yj​∗πi​​（2）同样EP(γ∣Y,θi​)​(γj0​)=piyj​​(1−pi​)1−yj​∗πi​+qiyj​​(1−qi​)1−yj​∗(1−πi​)qiyj​​(1−qi​)1−yj​∗(1−πi​)​（3）将上述（2）式（3）式带入（1）式，即可得Q(Y,θi​,θ)的具体形式2◯M步：对上述Q(Y,θi​,θ)的具体形式求θ（或具体各参数argmax）需要求极大值的参数θ包括(π,p,q)，可通过求各参数的导数求极大值；对π，令∂π∂Q(Y,θi​,θ)​=0=>∂π∂∑jn​[Eγj0​∗log(1−π)+Eγj1​∗logπ]​（利用∗∗式并取与π有关的项）=j∑n​(Eγj0​∗π−11​+Eγj1​∗π1​)=0=>πi+1​=n1​j=1∑n​EP(γ∣Y,θi​)​(γj1​)（注意这里的EP​即（2）式，已知）同理，对p，q，令⎩⎪⎨⎪⎧​∂p∂Q(Y,θi​,θ)​=0∂p∂Q(Y,θi​,θ)​=0​=>⎩⎪⎪⎪⎨⎪⎪⎪⎧​pi+1​=∑jn​EP(γ∣Y,θi​)​(γj1​)∑jn​EP(γ∣Y,θi​)​(γj1​)∗yj​​qi+1​=∑jn​[1−EP(γ∣Y,θi​)​(γj1​)]∑jn​[1−EP(γ∣Y,θi​)​(γj1​)]∗yj​​​如此，完成了一次参数的迭代，后续重复迭代至收敛即可​
• HMM（隐马尔可夫）参数估计