EM算法估计beta混合模型参数

[1] 用 network memerisation 造成的 clean / noisy 数据 loss 差异来区分 clean / noisy data。当得到一批数据的 normalised loss { l i ∈ [ 0 , 1 ] } i = 1 n \{l_i\in[0,1]\}_{i=1}^n {li​∈[0,1]}i=1n​ 之后，用 beta 混合模型（BMM）拟合两个峰，此前的一篇 [3] 是用高斯混合模型（GMM），两篇都是用 EM 算法求参数。[1] 用 BMM 拟合的来源可能是 [9]。

这里以 [1] 为背景，记 EM 算法的笔记，参考 [4-6]。

[1] 要跟据 loss 值判断一个图文对是 aligned（即 clean）的还是 partial-/mis-aligned（即 noisy）的。具体来说，先求得一批图文对的 normalised loss，分布如上图，有两个峰，各用一个 beta 分布分量拟合，总分布为：$$\begin{array}{rl}p(l)& ={\Sigma }_{k=1}^{K=2}p(z=k)\cdot p(l|z=k)\\ & ={\Sigma }_k^K{\lambda }_k\cdot p(l|k)\\ & ={\Sigma }_k^K{\lambda }_k\cdot \mathrm{B}(l;{\alpha }_k,{\beta }_k)\end{array}$$ 即 [1] 的 (4) 式。隐变量 $z=1,2$ 表示 $l$ 属于哪一个峰，1 clean 2 noisy，beta 分布介绍见 [7]。EM 算法求完参数之后，用 $p(z_i=1|l_i)$ 和一个阈值 $\delta$ 指定第 i 对图文是 clean 还是 noisy。

参考 [4-6]，log likelihood： $$\begin{array}{rlr}LL& ={\Sigma }_{i=1}^n\log p(l_i)& \\ & ={\Sigma }_i\log {\Sigma }_{k=1}^{K=2}p(l_i,z_i=k)& \\ & ={\Sigma }_i\log {\Sigma }_k{Q}_i(k)\cdot \frac{p(l_i,k)}{Q_i(k)}& (1)\\ & \ge {\Sigma }_i{\Sigma }_k{Q}_i(k)\log \frac{p(l_i,k)}{Q_i(k)}& (2)\end{array}$$

用 Jensen 不等式求下界是因为 sum-log 比 log-sum 好求导；用最大似然求参数时希望下界能取等号，即 (1) = (2)，这样最大化此下界就等同于最大化 log likelihood。

要 (1) = (2)，一种方法是令 $\frac{p(l_i,k)}{Q_i(k)}=c$，c 是常数，这样 $(1)={\Sigma }_i\log (c的期望)={\Sigma }_i\log c$，而 $(2)={\Sigma }_i[\log (c)的期望]={\Sigma }_i\log c$，故 (1) = (2)。此时有：$$\begin{array}{rlr}\frac{p(l_i,k)}{Q_i(k)}& =c& (3)\\ p(l_i,k)& =c\cdot Q_i(k)& \\ p(l_i)={\Sigma }_{k}p(l_i,k)& =c\cdot {\Sigma }_k{Q}_i(k)=c\cdot 1=c& \end{array}$$ 代回 (3)、移项得 $Q_i(k)=\frac{p(l_i,k)}{c}=\frac{p(l_i,k)}{p(l_i)}=p(k|l_i)$。也就是说令 $Q_i(k)=p(k|l_i)$ 时 (1) = (2)，最大化下界等同最大化 log likelihood。

于是 EM 算法开始吟唱：

1. 瞎蒙一组初始参数：${\lambda }_k,{\alpha }_k,{\beta }_k={\lambda }_k^0,{\alpha }_k^0,{\beta }_k^0(k=1,\dots ,K)$；
2. E 步：定住 ${\lambda }_k,{\alpha }_k,{\beta }_k$，令 $Q_i(k):=p(k|l_i)=\frac{p(k)\cdot p(l_i|k)}{{\Sigma }_{k^{\prime }}p(k^{\prime })\cdot p(l_i|k^{\prime })}=\frac{{\lambda }_k\cdot \mathrm{B}(l_i;{\alpha }_k,{\beta }_k)}{{\Sigma }_{k^{\prime }}{\lambda }_{k^{\prime }}\cdot \mathrm{B}(l_i;{\alpha }_{k^{\prime }},{\beta }_{k^{\prime }})}$；
3. M 步：定住 $Q_i(k)$，${\lambda }_k,{\alpha }_k,{\beta }_k={\mathrm{argmax}}_{\lambda ,\alpha ,\beta }LL$。

E、M 步重复迭代若干次，其中 M 步 ${\lambda }_k$ 用拉格朗日乘子（Lagrange multiplier）求，参考 [6]，约束是 ${\Sigma }_k{\lambda }_k=1$，故拉格朗日函数：$$\begin{array}{rl}L& =LL+\gamma (1-{\Sigma }_k{\lambda }_k)\\ & ={\Sigma }_i{\Sigma }_k{Q}_i(k)\log \frac{p(l_i,k)}{Q_i(k)}+\gamma (1-{\Sigma }_k{\lambda }_k)\\ & ={\Sigma }_i{\Sigma }_k{Q}_i(k)\log p(l_i,k)-{\Sigma }_i{\Sigma }_k\underset{\text{常数}}{\underbrace{Q_i(k)\log Q_i(k)}}+\gamma (1-{\Sigma }_k{\lambda }_k)\\ & \propto {\Sigma }_i{\Sigma }_k{Q}_i(k)\log p(l_i,k)+\gamma (1-{\Sigma }_k{\lambda }_k)\\ & ={\Sigma }_i{\Sigma }_k{Q}_i(k)\log {\lambda }_k\cdot \underset{与{\lambda }_k无关}{\underbrace{\mathrm{B}(l_i;{\alpha }_k,{\beta }_k)}}+\gamma (1-{\Sigma }_k{\lambda }_k)\end{array}$$ 分别求导、令等于零：$$\{\begin{array}{rlr}\frac{\partial L}{\partial {\lambda }_k}& =\frac{1}{{\lambda }_k}{\Sigma }_i{Q}_i(k)+\gamma & =0\\ \frac{\partial L}{\partial \gamma }& =1-{\Sigma }_k{\lambda }_k& =0\end{array}$$ 解得 $$\{\begin{array}{rl}\gamma & =-n\\ {\lambda }_k& =\frac{1}{n}{\Sigma }_i{Q}_i(k)=\frac{1}{n}{\Sigma }_i\frac{{\lambda }_k\cdot \mathrm{B}(l_i;{\alpha }_k,{\beta }_k)}{{\Sigma }_{k^{\prime }}{\lambda }_{k^{\prime }}\cdot \mathrm{B}(l_i;{\alpha }_{k^{\prime }},{\beta }_{k^{\prime }})}\end{array}$$ 而 ${\alpha }_k,{\beta }_k$ 则用 beta 分布的均值、方差公式反求，参考 [7]，对 $\mathrm{B}(x;\alpha ,\beta )$ 有：$$\{\begin{array}{rlrl}\mu & =\mathbb{E}X& & =\frac{\alpha }{\alpha +\beta }\\ {\sigma }^2& =\mathbb{D}X& & =\frac{\alpha \beta }{(\alpha +\beta {)}^2(\alpha +\beta +1)}\end{array}$$ 反求得 $$\{\begin{array}{rl}\beta & =(\frac{1}{\mu }-1)\alpha \\ \alpha & =\mu \left[\frac{\mu (1-\mu )}{{\sigma }^2}-1\right]\end{array}$$

对应 [1] 代码的 BetaMixture1D，其将 $Q_i(\cdot )$ 称为 responsibilities，$p(l_i,z_i=k)=p(k)p(l_i|k)={\lambda }_k\mathrm{B}(l_i;{\alpha }_k,{\beta }_k)$ 称为 weighted_likelihood。

References

1. (CVPR 2023) BiCro: Noisy Correspondence Rectification for Multi-modality Data via Bi-directional Cross-modal Similarity Consistency - paper, code
2. (ICML 2017) A Closer Look at Memorization in Deep Networks - paper
3. (NIPS 2021) Learning with Noisy Correspondence for Cross-modal Matching - paper, code
4. EM算法原理总结
5. 【机器学习】EM——期望最大（非常详细）
6. 高斯混合模型(GMM)与EM算法的推导
7. Β分布
8. 话说有可以求beta分布或者gamma分布的参数的最大似然估计的方法嘛？
9. (ICML 2019) Unsupervised Label Noise Modeling and Loss Correction - paper, code