《统计学习方法》第九章总结

最新推荐文章于 2022-04-01 22:53:59 发布
最新推荐文章于 2022-04-01 22:53:59 发布
阅读量881 收藏 2
点赞数
分类专栏： 统计学习方法 文章标签： 统计学习方法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31390999/article/details/79247995
版权

EM算法是一种迭代算法，分为两步：E步（求期望）M步（求极大）所以这一算法也称为期望极大算法


EM算法的一个重要应用就是高斯混合模型的参数估计


EM算法还可以解释为F函数的极大-极大算法，F函数的性质有：




哈特谢普苏特
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
清华出品 机器学习技术课程 统计学习方法第二版系列课程 第14章 聚类方法 共52页.pptx
05-03
第9章 EM算法 共48页.pptx 第10章 隐马尔科夫模型 共64页.pptx 第11章 条件随机场 共63页.pptx 第13章 无监督学习概论 共27页.pptx 第14章 聚类方法 共52页.pptx 第15章 奇异值分解 共66页.pptx 第16章 主成分分析 ...
统计学习方法 第九章习题答案
qq_41562704的博客
06-05 6851
文章目录习题9.1习题9.2习题9.3习题9.4 习题9.1 如例9.1的三硬币模型.假设观测数据不变，试选择不同的初值，例如π0=0.46,p0=0.55,q0=0.67\pi^0=0.46, p^0=0.55,q^0=0.67π0=0.46,p0=0.55,q0=0.67求模型参数θ=(π,p,q)\theta=(\pi,p,q)θ=(π,p,q)的极大似然估计。 例9.1（三硬币模型）假设有3枚硬币，分别记作A，B，C.这些硬币正面出现的概率分别是π，p和q.进行如下掷硬币试验：先掷硬币A，根据其结果
李航/徐亦达 统计学习方法第九章EM算法及其推广总结和习题答案
李滚滚的博客
02-23 4907
强烈推荐徐亦达老师关于EM算法的讲解视频，本文根据徐老师和李航老师统计学习方法整理，由于公式推导太多，笔记为手写。其中包含混合高斯模型的理解，形象化解释，以及习题链接。 习题 习题9.1和9.3 习题9.4 ...
F函数的极大极大算法
巍&秋的学习笔记
07-15 8806
F函数中的F应该是（free energy）的缩写，这个函数可以帮我们换一个思路理解EM算法
李航老师《统计学习方法》第二版第九章课后习题答案
qq_41626059的博客
05-05 5194
9.1、如例9.1的三硬币模型。假设观测数据不变，试选择不同的初值，例如π(0)=0.46,p(0)=0.55,q(0)=0.67\pi^{(0)}=0.46,p^{(0)}=0.55,q^{(0)}=0.67π(0)=0.46,p(0)=0.55,q(0)=0.67，求模型参数θ=(π,p,q)\theta = (\pi,p,q)θ=(π,p,q)的极大似然估计。 解： 如果按照书上提供公式计算，那么这一题是很简单，但是如果想要理解EM算法在该题上的应用思想，是十分重要的，三硬币模型的具体推导请参考我写的
《统计学习方法（第二版）》-李航-第九章EM算法及其推广 思维导图笔记及课后练习题目答案（使用python3编写EM算法及在高斯混合模型中的应用）
qq_26928055的博客
04-01 1034
第九章思维导图总结： import numpy as np 9.1 y = np.array([[1, 1, 0, 1, 0, 0, 1, 0, 1, 1]]).T m = y.shape[0] theta = np.array([[0.46, 0.55, 0.67]]).T # initialization for i in range(100): theta_old = theta.copy() q_theta = (theta[0] * theta[1] ** y * (1 -
《统计学习方法》PPT课件（21份）.zip
02-26
第9章 EM算法（48页）.pptx 第10章 隐马尔科夫模型（64页）.pptx 第11章 条件随机场（63页）.pptx 第13章 无监督学习（27页）.pptx 第14章 聚类方法（52页）.pptx 第15章 奇异值分解（66页）.pptx 第16章 主成分分析...
清华出品 机器学习技术课程 统计学习方法第二版系列课程 第22章 无监督学习方法总结 共19页.pptx
05-03
第9章 EM算法 共48页.pptx 第10章 隐马尔科夫模型 共64页.pptx 第11章 条件随机场 共63页.pptx 第13章 无监督学习概论 共27页.pptx 第14章 聚类方法 共52页.pptx 第15章 奇异值分解 共66页.pptx 第16章 主成分分析 ...
统计学习方法_李航
11-03
第9章em算法及其推广 9.1em算法的引入 9.1.1em算法 9.1.2em算法的导出 9.1.3em算法在非监督学习中的应用 9.2em算法的收敛性 9.3em算法在高斯混合模型学习中的应用 9.3.1高斯混合模型 9.3.2高斯混合模型参数估计的em...
全套清华大学数据分析 统计学 系列课程 12 第十二章 统计学习方法总结 .pptx
09-21
【清华大学大数据 数据分析 统计学 系列课程】 全套清华大学数据分析 统计学 系列课程 01 第一章 统计学习方法概论 （共32页）.pptx ...全套清华大学数据分析 统计学 系列课程 12 第十二章 统计学习方法总结.pptx
EM算法、变分推断(VBEM)、F函数的极大极大算法（EM算法的推广）
01-20
1.口述EM算法 EM算法就是近似极大化似然函数的一种方法。 那么一般的MLE存在的问题就是当likelihood-function存在log-sum项时，变得极难求解，这时候就要换一种思路，引入隐变量Z，和Z的某种分布q(Z)。这里先不说q(Z)是什么，买下一个伏笔。 EM算法的一个巧妙之处在于：似然函数经过变形（除以q(Z)再乘以q(z)），然后利用jenson’s inequality将log-sum项去掉了，这时候我们可以得到一个似然函数的下界 什么时候取等号呢？当q(z)=p(z|x,θ)时，会得到似然函数的“紧”下界，这时候我们只要最大化下界就可以了 这时候就有了EM算法的核心:就
李航-统计学习方法-习题-第九章
Young, Simple, Naive
11-13 3237
9.2 证明引理 9.2. 引理 9.2 若P~θ(Z)=P(Z∣Y,θ)\widetilde P_\theta(Z)=P(Z|Y,\theta)Pθ​(Z)=P(Z∣Y,θ)，则 F(P~,θ)=logP(Y∣θ) F(\widetilde P, \theta)=logP(Y|\theta)F(P,θ)=logP(Y∣θ). 证明： F(P~,θ)=EP~[logP(Y,Z∣θ)]+H(P~)=...
李航 统计学习方法 课后习题答案
热门推荐
我的博客
07-09 3万+
第一章 https://blog.csdn.net/familyshizhouna/article/details/70160782 第二章 2.1-2.2 https://blog.csdn.net/cracker180/article/details/78778305 2.3 https://blog.csdn.net/xiaoxiao_wen/arti...
统计学习方法 李航---第9章 EM算法及其推广
dazhichang6061的博客
08-28 453
第9章 EM算法及其推广 EM算法是一种迭代算法，用于含有隐变量(hidden variable)的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大( maximization )，所以这一算法称为期望极大算法(expectation maximizationalgorithm)，简称EM算法。 ...
李航《统计学习方法》第2版 第9章课后习题答案
weixin_43646592的博客
12-23 3484
习题9.1 习题9.2 习题9.3 2个分模型，5个参数μ0，σ0，μ1，σ1，（a0,a1） 代码实现： import numpy as np import itertools import matplotlib.pyplot as plt import time class MyEM(): def __init__(self, y, args, tol=0.001, K=2, max_iter=50): self.y = y self.r = None #分模型k对观测数据.
统计学习方法 第九章 习题
qq_26954059的博客
05-05 1049
9.1 #include <iostream> #include <math.h> using namespace std; double comput_prob(double pi,double p,int yi){ double prob = 1.0*pi*pow(p,yi)*pow((1.0-p),(1-yi)); return prob; } doub...
《统计学习方法》第9章 EM/GMM/F-MM/GEM
you1314520me的专栏
10-28 1325
本文原文将书上所有证明给出，点击此处查看原文, 个人技术博客：SnailDove 前言 EM（期望最大）算法有很多的应用，最广泛的就是混合高斯模型、聚类、HMM等等，本质上就是一种优化算法，不断迭代，获得优值，与梯度下降、牛顿法、共轭梯度法都起到同一类的作用。 本文是对李航《统计学习方法》的第9章复习总结，主要内容如下 EM（期望最大）算法证明有跳跃性的地方全部事无巨细地写出来， 清晰地梳...
EM算法为什么可视为F函数的极大-极大算法？
umbrellalalalala的博客
04-06 815
（本人知乎同名账号亦发了此文） 读前须知 本文面向读者为：正在看李航的《统计学习方法》，看到9.4.1 的F函数的极大-极大算法时不能理解 正文 本文先说求偏导过程，再说F函数，最后谈谈为什么是“极大-极大算法”（两个极大各自是什么）。 求偏导 一、先说求偏导。这块内容其实有很大跳步，卡这半天，刚终于懂了，附上我的手写内容（我猜有人在疑惑为什么求导结果中不含Σ\SigmaΣ?）： F函数 二、再...
《统计学习方法》第七章总结
backer
01-28 1532
支持向量机是一种二类分类模型（SVM）。它的基本模型是定义在特征空间上的最大间隔的线性分类器，间隔最大使它有别于感知机。根据数据是否线性可分分为线性可分支持向量机，线性支持向量机和非线性支持向量机。线性可分支持向量机是指数据都是线性可分的，线性支持向量机是指大部分数据是线性可分的，但是有部分数据无法线性可分。非线性支持向量机是指数据是无法线性可分的，例如椭圆内的数据和椭圆外的数据是通过椭圆这个图形
统计学习方法代码大全
最新发布
01-15
根据提供的引用内容，我无法直接回答你关于统计学习方法代码大全的问题。因为引用和引用只提到了统计学习方法的代码，但没有具体列举出所有的代码。如果你对统计学习方法的代码感兴趣，我可以为你提供一些常见的统计...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值