《统计学习方法》读书笔记——第九章 EM算法及其推广

写在前面

本系列博客是自己对于《统计学习方法》这本书的读书笔记,在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。


目录

写在前面

本章框架

EM算法

EM算法在高斯混合模型中的应用

EM算法的推广

补充知识点

高斯混合模型


本章框架

EM算法

在进行概率模型的参数估计时,如果变量全是可以直接观测的,就可以直接用极大似然估计或贝叶斯估计;如果模型中含有隐变量,此时可以用EM算法来进行估计。EM算法就是含有隐变量的概率模型参数的极大似然估计。

EM算法通过迭代来进行参数估计,每次迭代分为E和M两步:

  • E步——求期望(计算Q函数)

  • M步——求极大

求令Q函数极大的\theta值并对其进行参数更新。

EM算法的收敛性:

每次迭代后会提高观测数据的似然函数值,是收敛的,但不能保证收敛到全局最优。

EM算法在高斯混合模型中的应用

EM算法的推广

EM算法可解释为F函数的极大-极大算法。

推广:广义期望极大算法(GEM)


补充知识点

高斯混合模型

高斯混合模型(GMM):高斯混合模型是指具有如下形式的概率分布模型:

其中,称为第k个分模型.

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值