统计学习方法笔记9—EM算法2

最新推荐文章于 2020-05-30 11:31:02 发布
最新推荐文章于 2020-05-30 11:31:02 发布
阅读量273 收藏
点赞数
分类专栏： 统计学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DMU_lzq1996/article/details/83747170
版权

9.2 EM算法的收敛性

收敛定理9.1

在这里插入图片描述
观测数据的似然函数单调递增

收敛定理9.2

在这里插入图片描述
EM算法是收敛性包含对数似然函数序列的收敛性和关于参数估计序列的收敛性，即一定可以通过迭代发现似然函数的极值点。

9.3 EM算法在高斯混合模型学习中的应用

9.3.1 高斯混合模型（概率分步模型）

在这里插入图片描述

9.3.2高斯混合模型参数估计的EM算法

1.明确隐变量，写出对数似然函数：
隐变量：反应观测数据的高斯分布分模型

最低0.47元/天 解锁文章
DMU_lzq1996
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
EM算法及其推广(EM) Python代码 《统计学习方法》李航
03-22
经典书籍《统计学习方法》李航，第9章 EM算法及其推广(EM) -Python代码
统计学习方法9—EM算法
weixin_30950887的博客
07-09 206
  EM算法是一种迭代算法，是一种用于计算包含隐变量概率模型的最大似然估计方法，或极大后验概率。EM即expectation maximization，期望最大化算法。 1. 极大似然估计   在概率模型中，若已知事件服从的分布或者其他概率模型的参数，那么我们可以通过计算得到某事件发生的概率。而在估计中，这些变成了方向过程：已知一组数据发生的结果，相当于获得了经验概率，通过这组数据假设模型服从什么...
统计学习方法——EM算法
weixin_45680007的博客
11-24 155
EM算法 三硬币模型 我们定义 y是观测到的硬币值，也就是B(A为正)或者C(A为负)的正面或者反面，值为0或者1 z是不能观测的硬币值，也就是A为正或者A为负 所以由 这里我难以理解θ，感觉哪里又加哪里又不加。于是自己推导 P（Y）=∑P（Y/Z）P（Z）全概率公式 当Z=0时 当Z=1时 EM算法的参数估计 对上述式子求解，仅能用迭代的方法求解。推导省略，接下来看怎么解。首先10次硬币...
统计学习方法（九）ＥＭ算法
weixin_41798111的博客
01-30 321
参考博客：https://www.cnblogs.com/bigmoyan/p/4550375.html https://en.wikipedia.org/wiki/Expectation%E2%80%93maximization_algorithm EM：expectation maximization 期望极大算法 用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计 主要分...
学习笔记—《EM算法》
12-18
本人在学习EM算法时，是通过斯坦福大学的公开课讲EM算法的视频学习的，也对应看了别人整理的笔记，个人觉得有些地方说的不是很清楚，特整理此笔记供大家参考。
EM算法学习笔记
07-01
EM算法超详细学习笔记，很多书上都没有的，容易理解
em 算法笔记
10-10
em 算法笔记--em期望最大化算法笔记
机器学习&深度学习资料笔记&基本算法实现&资源整理.zip
最新发布
03-03
参考：《机器学习》周志华 《统计学习方法》李航 1.机器学习&深度学习 工具 | 书籍 | 课程 | 比赛 | 框架 ---------|---------------|-------------|-------- |--------- Scikit-learn| 机器学习实战 | 机器学习/...
机器学习深度学习基础算法知识笔记与案例代码.zip
06-22
目前主要参考李航老师的《统计学习方法》一书，也有一些内容例如XGBoost、聚类、深度学习相关内容、NLP相关内容等是书中未提及的。 由于github的markdown解析器不支持latex，因此笔记部分需要在本地使用Typora才能...
【统计学习方法】EM算法原理
idwtwt的专栏
10-05 1049
1 基本概念准备 1.1 最大似然估计（MLE） 最大似然估计是统计学中的概念，维基百科中给出的定义是：最大似然估计（英语：maximum likelihood estimation，缩写为MLE），也称最大概似估计，是用来估计一个概率模型的参数的一种方法。具体来讲，就是利用已知的样本的结果，在使用某个模型的基础上，反推最有可能导致这样结果的模型参数值（模型已定，参数未知）。 比较简单的例子...
【统计学习方法】2、EM算法及其推广
呆呆的猫的博客
03-26 1331
第九章 EM算法及其推广 9.1 EM算法的引入 9.1.1 EM算法 9.1.2 EM算法的导出 9.1.3 EM算法在非监督学习中的应用 9.2 EM算法的收敛性 第九章 EM算法及其推广 EM算法是一种迭代算法，用于含有隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。 EM算法的每次迭代由两步组成：E步（求期望）+...
统计学习方法——EM算法及其推广（一）
wk19951125的博客
04-12 401
统计学习方法——EM算法及其推广EM算法及其推广（一）EM算法引入EM算法EM算法的导出（可不看）在非监督学习中的应用EM算法的收敛性参考文献 EM算法及其推广（一） EM算法（期望极大算法）是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。主要包含两步： E步：求期望 M步：求极大 EM算法引入 概率模型有时既含有观测变量，又含有隐变量（潜在变量）。 EM算法 输入：观测变量数据...
统计学习方法笔记（十三）EM算法（一）
yeyustudy的博客
05-19 743
EM算法及其推广 EM算法是一种迭代算法，主要用于含有隐变量的概率模型参数估计的极大似然估计或极大后验概率估计。此种算法共有两步，E步，求期望，M步，求极大 EM算法 一、EM算法 算法由三硬币问题引入，具体内容见统计学习方法第155页，最终问题转换为求以下参数的极大似然估计。即： θˆ=argmaxθlogP(Y|θ)θ^=argmaxθ⁡log⁡P(Y|θ)\widehat \t...
统计学习方法（十三）EM算法（三）
yeyustudy的博客
05-20 473
EM算法的推广 一、F函数的极大极大算法 F函数：假设隐变量Z的概率分布为P˜(Z)P~(Z)\widetilde P(Z) ，定义分布P˜P~\widetilde P 与参数θθ\theta 的函数如下： F(P˜,θ)=EP˜[logP(Y,Z|θ)]+H(P˜)F(P~,θ)=EP~[log⁡P(Y,Z|θ)]+H(P~)F(\widetilde P,\theta ) = {E_{\...
《统计学习方法》-EM算法引例的说明
geeksu的博客
09-17 1350
最近在哥们在看统计学习方法的时候，对于EM算法的引例子9.1中三硬币模型有疑问，于是我做了相应的整理和推导，希望对机器学习爱好者有所帮助，共勉。   例子大概是这样的：        假设有3枚硬币，分别记作A，B,C，这些硬币正面出现的概率分布分别是PI，p和q，进行如下的硬币是实验：先投掷硬币A，根据其结果选出硬币B和C,正面选B,反面选C;然后投掷选出的硬币，出现正面记作1，出现方面记
统计学习方法笔记9—EM算法1
DMU_lzq1996的博客
10-25 249
EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。 每次迭代分两部：E步求期望，M步求极大 9.1 EM算法的引入 概率模型既含有观测变量，又含有隐变量或潜在变量。只有观测变量可以使用极大似然估计法，当含有隐变量时就要使用EM法：隐变量的极大似然估计 9.1.1 EM算法 例：三硬币模型 y是观测变量，取值1或0； z是隐变量，表示A的结果（不可见） 0是模型参数：π，p，q...
统计学习方法——（第九章）EM算法及其算法推导
weixin_37799689的博客
05-30 426
李航/徐亦达 统计学习方法第九章EM算法及其推广总结和习题答案 ...
《统计学习方法》读书笔记——第九章 EM算法及其推广
s000da的博客
03-20 393
写在前面 本系列博客是自己对于《统计学习方法》这本书的读书笔记，在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。 目录 写在前面 本章框架 EM算法 EM算法在高斯混合模型中的应用 EM算法的推广 补充知识点 高斯混合模型 本章框架 EM算法 在进行概率模型的参数估计时，如果变量全是可以直接观测的，就可以直接用极大似然估计或贝叶斯估计；如果模型中...
李航统计学习方法笔记
09-01
李航的《统计学习方法》是一本经典的统计学习教材，其中涵盖了统计学习的基本理论和方法。该书主要介绍了统计学习的三要素：模型、策略和算法。引用提到，训练集用来训练模型，验证集用来选择模型，测试集用于对学习方法的评估。这些三要素是统计学习方法的基础。引用进一步解释了统计学习的目标，即通过构建概率统计模型对数据进行准确的预测与分析，并提高学习效率。引用提到了一种常用的统计学习方法，即提升(boosting)，它通过改变训练样本的权重，学习多个弱分类器，并将它们线性组合成一个强分类器，以提高分类的性能。 总结起来，李航的《统计学习方法》笔记主要围绕统计学习的基本理论和方法展开，介绍了统计学习的三要素、目标和提升等常用方法。这本书对于学习统计学习的人来说是一本非常有价值的参考资料。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [统计学习方法——李航 笔记](https://blog.csdn.net/qq_45383347/article/details/110482540)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [李航《统计学习方法》学习笔记](https://blog.csdn.net/liuzuoping/article/details/98840923)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值