适用问题
高斯混合模型:
P(y∣θ)=∑k=1Kαkϕ(y∣θk)
可以视为由不同模型参数 θk=(μk,σ2k) 构成的不同高斯分布,由不同的权重 αk 来共同决定y的概率。
算法需要输入观测数据 y1,y2....yn 和高斯混合模型,得到该混合模型的参数 α,μ,σ
算法
原理
实质上是无监督的EM模型
观测数据
yj
来自第k个分模型的概率是未知的 可以视为隐变量
定义
γjk
为,若观测数据
yj
来自第k个分模型,则
γjk
=1 否则为0
要套用EM的算法 需要知道 P(y,γ∣θ) 和 P(γ∣y,θ)
P(y,γ∣θ)=∏Nj=1P(y,γj1,γj2...γjk,∣θ)
=∏Nj=1P(y,γj1∣θ)P(y,γj2∣θ)....P(y,γjk∣θ)
=∏Kk=1∏Nj=1[akϕ(y∣θk)]γjk
带入高斯混合模型 若观测数据不来自该分布,则指数为0
带入高斯分布公式,即可获得关于 αk,μk,σk 的 P(y,γ∣θ)
在统计学习方法中 作者直接使用对Z的期望计算Q,但实际上E( γjk )依旧是需要使用 P(γ∣y,θ) 获得
Eγjk=P(γjk=1∣y,θ)
带入后即可获得Q函数 分别令对 αk,μk,σk 偏导为零即可获得下一步迭代的 θk
参考资料:李航 《统计学习方法》