2022-2-22第四章机器学习进阶EM算法

YJF-NJU

于 2022-02-22 16:59:20 发布

阅读量570

点赞数

文章标签：机器学习算法人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_45526009/article/details/123072099

版权

本文介绍了Jensen不等式在概率和统计中的核心作用，特别是在期望最大化（EM）算法中解决高斯混合模型（GMM）参数估计问题的过程。EM算法通过迭代更新逐步优化目标函数，最终达到局部最大值。首先，确定初始参数，然后在E步骤中计算期望值，接着在M步骤中最大化这些期望值来更新参数。整个过程沿着梯度上升，直至收敛。关键词涉及统计推断、概率论、机器学习和数据建模。

摘要由CSDN通过智能技术生成

基础知识

Jensen不等式
在这里插入图片描述

最重要是红框中的结论

EM算法解决的问题
在这里插入图片描述

GMM参数估计

第一步：

第二步：

按公式求各类参数，然后不断迭代

EM算法提出

在这里插入图片描述
Z是为观测数据，但是想要计算出z值
提出似然函数

在这里插入图片描述引入函数r作为辅助变函数

在这里插入图片描述证明i取任意一个值不等式恒成立；Q作为z的某一个分布；
Log（E(X)）>= E(logx)—jensen不等式

在这里插入图片描述取定值才有使上式相等的可能
给定一个z可以得到一个P—两者相关但不相等，那么在全z取完相加，可以得到一个条件概率

在这里插入图片描述

EM算法最终过程 在这里插入图片描述沿坐标轴不断上升，然后上升到局部最大值过程
E:只要给定参数，就可以求出概率定值

在这里插入图片描述 M：

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。