机器学习-周志华-个人练习13.1

最新推荐文章于 2024-07-27 23:44:59 发布

qilixuening

最新推荐文章于 2024-07-27 23:44:59 发布

阅读量1.3k

点赞数 4

分类专栏：自学练习文章标签：机器学习半监督学习生成式方法高斯混合模型参数估计

本文链接：https://blog.csdn.net/qilixuening/article/details/72803711

版权

本文详细探讨了如何推导高斯混合模型的公式，重点关注式(13.5)至(13.8)。通过利用拉格朗日乘子法优化混合系数αi，确保满足条件αi≥0且∑Ni=1αi=1。内容涉及半监督学习中的生成式方法。

摘要由CSDN通过智能技术生成

13.1 试推导出式(13.5)~(13.8)

式13.5

首先，高斯混合模型的公式如下：

p M (x) \sum i = 1 k α i = \sum i = 1 k α i \cdot p (x ∣ μ i, Σ i), = 1 (1) (2)

$\begin{align} p_{\mathcal M}(\mathbf x)&=\sum_{i=1}^k \alpha_i \cdot p(\mathbf x \mid \mu_i,\Sigma_i),\tag{1} \\ \sum_{i=1}^k \alpha_i &= 1 \tag{2}\end{align}$
则根据贝叶斯定理，未标记样本

xj $x_j$ 属于各高斯混合成分

Θi $\Theta_i$ 的概率为：

γ j i = p (Θ = i ∣ x j) = p ( Θ = i ) \cdot p ( x j ∣ Θ = i ) p M ( x j ) = α i \cdot p ( x j ∣ μ i , Σ i ) \sum i = 1 k α i \cdot p ( x j ∣ μ i , Σ i ), (3)

$\gamma_{ji}=p(\Theta=i \mid \mathbf x_j)={{p(\Theta=i)\cdot p(\mathbf x_j \mid \Theta=i )}\over {p_{\mathcal M}(\mathbf x_j)}}={{\alpha_i \cdot p(\mathbf x_j \mid \mu_i,\Sigma_i)} \over {\displaystyle\sum_{i=1}^k \alpha_i \cdot p(\mathbf x_j \mid \mu_i,\Sigma_i)}},\tag{3}$ 则式

(13.5) $(13.5)$ 得证。

式13.6~13.7

根据书上公式 $(13.4)$ :

L L (D l \cup D u) = \sum (x j, y j) \in D l ln (\sum i = 1 k α i \cdot p (x j ∣ μ i, Σ i) \cdot p (y j ∣ Θ = i, x j)) + \sum x j \in D u ln (\sum i = 1 k α i \cdot p (x j ∣ μ i, Σ i)) (4)

$LL(D_l \cup D_u)=\sum_{(\mathbf x_j,y_j) \in D_l} \ln \left(\sum_{i=1}^k \alpha_i \cdot p(\mathbf x_j \mid \mu_i,\Sigma_i) \cdot p(y_j \mid \Theta=i,\mathbf x_j) \right)+\sum_{\mathbf x_j \in D_u} \ln \left(\sum_{i=1}^k \alpha_i \cdot p(\mathbf x_j \mid \mu_i,\Sigma_i)\right) \tag{4}$
由于假定每一个类别对应一个高斯混合成分，则