《统计学习方法》读书笔记——第九章 EM算法及其推广

最新推荐文章于 2023-09-02 16:09:02 发布
最新推荐文章于 2023-09-02 16:09:02 发布
阅读量419 收藏
点赞数
分类专栏： 读书笔记 统计学习方法-李航
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/s000da/article/details/88685690
版权

写在前面

本系列博客是自己对于《统计学习方法》这本书的读书笔记，在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。

目录

写在前面

本章框架

EM算法

EM算法在高斯混合模型中的应用

EM算法的推广

补充知识点

高斯混合模型

本章框架

EM算法

在进行概率模型的参数估计时，如果变量全是可以直接观测的，就可以直接用极大似然估计或贝叶斯估计；如果模型中含有隐变量，此时可以用EM算法来进行估计。EM算法就是含有隐变量的概率模型参数的极大似然估计。

EM算法通过迭代来进行参数估计，每次迭代分为E和M两步：

  • E步——求期望（计算Q函数）

  • M步——求极大

求令Q函数极大的\theta值并对其进行参数更新。

EM算法的收敛性：

每次迭代后会提高观测数据的似然函数值，是收敛的，但不能保证收敛到全局最优。

EM算法在高斯混合模型中的应用

EM算法的推广

EM算法可解释为F函数的极大-极大算法。

推广：广义期望极大算法（GEM）

补充知识点

高斯混合模型

高斯混合模型(GMM):高斯混合模型是指具有如下形式的概率分布模型：

其中,称为第k个分模型.

 

'Themis'
关注
专栏目录
《李航 统计学习方法》学习笔记——第九章EM算法及其推广
eveiii的博客
05-24 718
EM算法及其推广EM算法二级目录三级目录 EM算法 EM算法：含有隐变量的概率模型参数的极大似然估计法或极大后验概率估计法。每次迭代分为E步（极大期望）和M步（求极大）。 三硬币模型 在这个实例中，抛硬币A的结果（这里记为Z ）是无法观测的，所以该结果称之为隐变量。 在该例子中，也可以称（Y,Z）为完全数据，Y为不完全数据 设随意变量Y为观测到的抛硬币的结果（即观测变量），θ=(π,p,q)\theta=(\pi,p,q)θ=(π,p,q)是模型参数，则可以得到模型的似然函数： P(Y∣θ)=∑ZP(
西瓜书学习笔记——第九章：聚类
Andrewings
07-04 3529
9. 聚类9.1 聚类任务9.2 性能度量外部指标：定义外部指标内部指标定义簇内样本平均距离avg( C)簇内样本间最远距离diam( C )簇间最近样本距离$d_{min}(C)$簇中心间距$d_{cen}(C_i,C_j)$内部指标9.3 距离计算闵可夫斯基距离(Minkowski distance)曼哈顿距离(街区距离)欧氏距离切比雪夫距离根据属性的性质选择采用的距离有序属性无序属性混合属性...
EM算法及其推广(EM) Python代码 《统计学习方法》李航
03-22
经典书籍《统计学习方法》李航，第9章 EM算法及其推广(EM) -Python代码
《统计学习方法》第九章: EM算法及其推广 读书笔记
虎哥的铲屎员
05-22 460
文章目录9.EM算法及其推广9.1概念9.1.1模型解释9.2EM算法9.2.1推导9.2.2算法9.2.3 算法的收敛性9.3EM在高斯混合模型中的应用9.3.1高斯混合模型推导过程似然函数对数似然函数算法E步算法M步9.3.2高斯混合模型参数估计的EM算法 9.EM算法及其推广 EM算法(expectation maximization algorithm,期望极大算法) 是一种非监督模型 ...
《统计学习方法》第9章 EM算法及其推广
qq_30595267的博客
04-20 214
范德萨发
第九章 EM算法及其推广
weixin_40718824的博客
04-01 188
>>>EM算法推导 下图的主要步骤是通过构造詹森不等式，将对期望的函数转化为函数的期望，也即将求期望的权值也即下图中的P(Z|X）移到log函数外面。log函数为凹函数，所以刚好期望的函数 要大于函数的期望，也即确定了下界。 >>>EM算法的步骤 >>>三硬币问题 ...
统计学习方法读书笔记第九章：EM算法及其推广
weixin_40692963的博客
02-27 441
统计学习方法读书笔记第九章：EM算法及其推广统计学习方法读书笔记第九章：EM算法及其推广EM算法的引入EM算法的收敛性EM算法在高斯混合模型学习中的应用EM算法的推广 统计学习方法读书笔记第九章：EM算法及其推广 EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望（expectation）；M步，求极大（maximiz...
陈宝林《最优化理论与算法》超详细学习笔记 （七）————第五章 运输问题
River_J777的博客
08-06 2820
陈宝林《最优化理论与算法》超详细学习笔记 （七）————第五章 运输问题第1节 运输问题的数学模型第2节 表上作业法2.1 确定初始基可行解2.2 最优解的判别2.3 改进的方法——闭回路调整法2.4 表上作业法计算中的问题第3节 产销不平衡的运输问题及其求解方法 第1节 运输问题的数学模型 已知有mmm个生产地点Ai,i=1,2,…,mA_i, i=1,2,…,mAi​,i=1,2,…,m。可供应某种物资，其供应量(产量)分别为ai,i=1,2,…,ma_i, i=1,2,…,mai​,i=1,2,
871王道 - 计算机组成原理 - 学习笔记 ——第3章 存储系统
最新发布
weixin_53501829的博客
09-02 1669
王道计组自用学习笔记 第3章 存储系统
西瓜书读书笔记——第七章：贝叶斯分类器
Andrewings
06-13 2421
第七章：贝叶斯分类器7.1 贝叶斯决策论条件风险7.2 极大似然估计 首先介绍一下贝叶斯公式： 实际上，分母为全概率公式，分子为联合概率。在机器学习中，更常见的形式为 P(B∣A)=P(A∣B)P(B)P(A)P(B|A)=\dfrac{P(A|B)P(B)}{P(A)}P(B∣A)=P(A)P(A∣B)P(B)​ 贝叶斯公式的作用在于将P(B|A)的估计转化为估计P(A|B)和P(B) 7.1...
《统计学习方法》学习笔记（第九章）
Hhhhuply的博客
04-03 479
EM算法及其推广 Likelihood & Maximum likelihood 似然与概率 在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。 概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依...
统计学习方法读后小结（1）
diaolong123123的博客
09-28 103
一、名词解析 　　1.损失函数和风险函数 　　损失函数（loss function）是度量模型一次预测的好坏，风险函数度量平均意义下模型预测好坏。 　　期望风险是模型关于联合分布的期望损失，经验风险是模型关于训练样本集的平均损失。根据大数定理，当样本容量N趋于无穷大时，经验风险Remp趋于期望风险Rexp。当用经验风险去预测期望风险时，要对经验风险进行一定的矫正，经常使用的是监督...
统计学习方法学习笔记：第九章.EM算法及其推广
weixin_44692791的博客
10-28 231
第九章：EM算法及其推广
第9章 EM算法及其推广(EM)代码实现
breeze_blows的博客
02-14 2804
=============================== 【回到目录】=============================== 第9章 EM算法及其推广(EM)代码实现 例9.1 三硬币模型 import numpy as np import math pro_A, pro_B, por_C = 0.5, 0.5, 0.5 def pmf(i, pro_A, pro_...
《统计学习方法》笔记九 EM算法及其推广
weixin_30298497的博客
12-05 129
本系列笔记内容参考来源为李航《统计学习方法》 EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计或极大后验概率估计。迭代由 （1）E步：求期望 （2）M步：求极大 组成，称为期望极大算法。 EM算法引入 EM算法是通过不断求解下界的极大化逼近求解对数似然函数极大化的算法。 EM在监督学习中的应用 收敛性 EM算法在高斯混合模型...
个人学习笔记（十一）EM算法及其推广
万carp的博客
05-15 379
       当模型含有隐变量时，无法使用极大似然估计法或贝叶斯估计法估计模型参数，这时适合使用EM算法。EM算法就是含有隐变量的概率模型参数的极大似然估计法，或极大后验概率估计法。EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大(maximization)。所以这一算法称为期望极大算法(expectation maximi...
统计学习方法学习笔记（第九章　EM算法及其推广）
m0_37764496的博客
10-23 252
EM算法与初值的选择有关，选择不同的初值可能得到不同的参数估计值。 EM算法可以用于生成模型的非监督学习。
统计学习方法_读书笔记_10章_HMM
casmaster的专栏
07-14 272
HMM是一种生成模型.描述了隐含的马尔科夫链随机生成观测序列的过程. 所以HMM=隐含的马尔科夫链->随机生成的观测序列. 更具体的说,HMM=隐含的马尔科夫链->随机生成状态序列->随机生成观测序列基本概念定义λ=(A,B,π)\lambda=(A,B,\pi) 我理解,状态序列和观测序列都是离散可枚举的. 感觉中间也有隐变量.那它和EM算法可以找到什么区别呢?其中一个是,HMM是和顺序有
统计学习方法读书笔记（一）
wangdax的博客
03-23 922
第一章 统计学习方法概论   1.1 统计学习 1、统计学习的特点 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行观测与分析的一门学科，也称为机器学习。 2、统计学习的对象 对象是数据。从数据出发，提取数据特征，抽象出数据的模型，发现数据中的知识，又回到对数据的分析与观测中去。 3、统计学习的目的 统计学习用于对数据进行预测与分析，特别是对位置新数据进行预测
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值