统计学习方法笔记9—EM算法2

最新推荐文章于 2020-05-30 11:31:02 发布
最新推荐文章于 2020-05-30 11:31:02 发布
阅读量305 收藏
点赞数
分类专栏： 统计学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DMU_lzq1996/article/details/83747170
版权
本文探讨了EM算法的收敛性，包括收敛定理9.1和9.2，证明了EM算法能保证观测数据的似然函数单调递增，并找到似然函数的极值点。接着，介绍了EM算法在高斯混合模型学习中的应用，详细阐述了高斯混合模型的概率分步模型，以及参数估计的EM算法步骤，包括E步中确定Q函数和M步中求取Q函数最大值的过程。
摘要由CSDN通过智能技术生成

9.2 EM算法的收敛性

收敛定理9.1

在这里插入图片描述
观测数据的似然函数单调递增

收敛定理9.2

在这里插入图片描述
EM算法是收敛性包含对数似然函数序列的收敛性和关于参数估计序列的收敛性，即一定可以通过迭代发现似然函数的极值点。

9.3 EM算法在高斯混合模型学习中的应用

9.3.1 高斯混合模型（概率分步模型）

在这里插入图片描述

9.3.2高斯混合模型参数估计的EM算法

1.明确隐变量，写出对数似然函数：
隐变量：反应观测数据的高斯分布分模型
在这里插入图片描述
完全数据：观测数据和隐变量数据

最低0.47元/天 解锁文章
DMU_lzq1996
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
EM算法及其推广(EM) Python代码 《统计学习方法》李航
03-22
经典书籍《统计学习方法》李航，第9章 EM算法及其推广(EM) -Python代码
统计学习方法9—EM算法
weixin_30950887的博客
07-09 214
  EM算法是一种迭代算法，是一种用于计算包含隐变量概率模型的最大似然估计方法，或极大后验概率。EM即expectation maximization，期望最大化算法。 1. 极大似然估计   在概率模型中，若已知事件服从的分布或者其他概率模型的参数，那么我们可以通过计算得到某事件发生的概率。而在估计中，这些变成了方向过程：已知一组数据发生的结果，相当于获得了经验概率，通过这组数据假设模型服从什么...
统计学习方法——EM算法
weixin_45680007的博客
11-24 164
EM算法 三硬币模型 我们定义 y是观测到的硬币值，也就是B(A为正)或者C(A为负)的正面或者反面，值为0或者1 z是不能观测的硬币值，也就是A为正或者A为负 所以由 这里我难以理解θ，感觉哪里又加哪里又不加。于是自己推导 P（Y）=∑P（Y/Z）P（Z）全概率公式 当Z=0时 当Z=1时 EM算法的参数估计 对上述式子求解，仅能用迭代的方法求解。推导省略，接下来看怎么解。首先10次硬币...
统计学习方法（九）ＥＭ算法
weixin_41798111的博客
01-30 330
参考博客：https://www.cnblogs.com/bigmoyan/p/4550375.html https://en.wikipedia.org/wiki/Expectation%E2%80%93maximization_algorithm EM：expectation maximization 期望极大算法 用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计 主要分...
学习笔记—《EM算法》
12-18
EM算法是一种迭代方法，主要用于含有隐变量的概率模型的参数估计。其核心思想是通过迭代地求解两个步骤来不断逼近参数的最大似然估计，这两个步骤分别是期望步（E步）和最大化步（M步）。 首先来看Jensen不等式，它...
EM算法学习笔记
07-01
### EM算法学习笔记 #### 一、预备知识 在深入探讨EM算法之前，我们需要了解一些必要的数学工具，包括拉格朗日乘法、贝叶斯公式、高斯分布以及相对熵。 **1. 拉格朗日乘法** 考虑在约束条件下找多元函数的极值...
EM算法 统计学习基础
03-02
《统计学习基础》和《统计学习方法》这两本书中，对EM算法的讲解各有侧重。《统计学习基础》可能更注重基础概念的解释和实例的引入，而《统计学习方法》则可能更深入地探讨算法的理论和推导。在学习过程中，可以先...
统计学习方法笔记（部分算法含matlab代码）
11-17
《统计学习方法》是李航博士的一本经典教材，它深入浅出地介绍了机器学习领域中的统计学习理论和方法。这本书涵盖了从基础的概率论、决策论到高级的核方法、支持向量机等多个主题，是许多学习者入门和进阶的重要资源...
em 算法笔记
10-10
2. **局部最优解**：由于EM算法本质上是一种梯度上升方法，它只能确保达到局部最优解而非全局最优解。 3. **多启动策略**：为了避免局部最优解，可以采用多次随机初始化的方式，取最终结果中似然函数最大的作为最终...
【统计学习方法】EM算法原理
idwtwt的专栏
10-05 1086
1 基本概念准备 1.1 最大似然估计（MLE） 最大似然估计是统计学中的概念，维基百科中给出的定义是：最大似然估计（英语：maximum likelihood estimation，缩写为MLE），也称最大概似估计，是用来估计一个概率模型的参数的一种方法。具体来讲，就是利用已知的样本的结果，在使用某个模型的基础上，反推最有可能导致这样结果的模型参数值（模型已定，参数未知）。 比较简单的例子...
【统计学习方法】2、EM算法及其推广
呆呆的猫的博客
03-26 1347
第九章 EM算法及其推广 9.1 EM算法的引入 9.1.1 EM算法 9.1.2 EM算法的导出 9.1.3 EM算法在非监督学习中的应用 9.2 EM算法的收敛性 第九章 EM算法及其推广 EM算法是一种迭代算法，用于含有隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。 EM算法的每次迭代由两步组成：E步（求期望）+...
统计学习方法——EM算法及其推广（一）
wk19951125的博客
04-12 413
统计学习方法——EM算法及其推广EM算法及其推广（一）EM算法引入EM算法EM算法的导出（可不看）在非监督学习中的应用EM算法的收敛性参考文献 EM算法及其推广（一） EM算法（期望极大算法）是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。主要包含两步： E步：求期望 M步：求极大 EM算法引入 概率模型有时既含有观测变量，又含有隐变量（潜在变量）。 EM算法 输入：观测变量数据...
统计学习方法笔记（十三）EM算法（一）
yeyustudy的博客
05-19 756
EM算法及其推广 EM算法是一种迭代算法，主要用于含有隐变量的概率模型参数估计的极大似然估计或极大后验概率估计。此种算法共有两步，E步，求期望，M步，求极大 EM算法 一、EM算法 算法由三硬币问题引入，具体内容见统计学习方法第155页，最终问题转换为求以下参数的极大似然估计。即： θˆ=argmaxθlogP(Y|θ)θ^=argmaxθ⁡log⁡P(Y|θ)\widehat \t...
统计学习方法（十三）EM算法（三）
yeyustudy的博客
05-20 487
EM算法的推广 一、F函数的极大极大算法 F函数：假设隐变量Z的概率分布为P˜(Z)P~(Z)\widetilde P(Z) ，定义分布P˜P~\widetilde P 与参数θθ\theta 的函数如下： F(P˜,θ)=EP˜[logP(Y,Z|θ)]+H(P˜)F(P~,θ)=EP~[log⁡P(Y,Z|θ)]+H(P~)F(\widetilde P,\theta ) = {E_{\...
《统计学习方法》-EM算法引例的说明
geeksu的博客
09-17 1365
最近在哥们在看统计学习方法的时候，对于EM算法的引例子9.1中三硬币模型有疑问，于是我做了相应的整理和推导，希望对机器学习爱好者有所帮助，共勉。   例子大概是这样的：        假设有3枚硬币，分别记作A，B,C，这些硬币正面出现的概率分布分别是PI，p和q，进行如下的硬币是实验：先投掷硬币A，根据其结果选出硬币B和C,正面选B,反面选C;然后投掷选出的硬币，出现正面记作1，出现方面记
统计学习方法笔记9—EM算法1
DMU_lzq1996的博客
10-25 260
EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。 每次迭代分两部：E步求期望，M步求极大 9.1 EM算法的引入 概率模型既含有观测变量，又含有隐变量或潜在变量。只有观测变量可以使用极大似然估计法，当含有隐变量时就要使用EM法：隐变量的极大似然估计 9.1.1 EM算法 例：三硬币模型 y是观测变量，取值1或0； z是隐变量，表示A的结果（不可见） 0是模型参数：π，p，q...
统计学习方法——（第九章）EM算法及其算法推导
weixin_37799689的博客
05-30 448
李航/徐亦达 统计学习方法第九章EM算法及其推广总结和习题答案 ...
《统计学习方法》读书笔记——第九章 EM算法及其推广
s000da的博客
03-20 400
写在前面 本系列博客是自己对于《统计学习方法》这本书的读书笔记，在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。 目录 写在前面 本章框架 EM算法 EM算法在高斯混合模型中的应用 EM算法的推广 补充知识点 高斯混合模型 本章框架 EM算法 在进行概率模型的参数估计时，如果变量全是可以直接观测的，就可以直接用极大似然估计或贝叶斯估计；如果模型中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值