电信保温杯笔记——《统计学习方法（第二版）——李航》第18章 概率潜在语义分析

于 2022-08-11 23:45:26 发布
阅读量429 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_39448069/article/details/126242757
版权

电信保温杯笔记——《统计学习方法（第二版）——李航》第18章 概率潜在语义分析

论文

介绍

电信保温杯笔记——《统计学习方法（第二版）——李航》
本文是对原书的精读，会有大量原书的截图，同时对书上不详尽的地方进行细致解读与改写。

在这里插入图片描述

基本想法

在这里插入图片描述

模型

在这里插入图片描述

生成式模型

在这里插入图片描述

P ( w , z ∣ d ) = P ( z ∣ d ) P ( w ∣ z , d ) = P ( z ∣ d ) P ( w ∣ z ) （与隐马尔科夫基本假设类似） ( 18.3 ) \begin{aligned} P(w,z|d) &= P(z|d)P(w|z,d) \\ &= P(z|d)P(w|z)\quad（与隐马尔科夫基本假设类似） \quad\quad\quad\quad\quad\quad(18.3) \end{aligned} P(w,z∣d)​=P(z∣d)P(w∣z,d)=P(z∣d)P(w∣z)（与隐马尔科夫基本假设类似）(18.3)​
公式（18.2）就是图 18.2。
在这里插入图片描述

共现模型

在这里插入图片描述
在这里插入图片描述

文本、话题、单词之间的关系

在这里插入图片描述

几何解释

在这里插入图片描述

与潜在语义分析的关系

在这里插入图片描述

算法

第9章 EM算法及其推广

在这里插入图片描述

步骤

在这里插入图片描述

本章概要

在这里插入图片描述

相关视频

相关的笔记

hktxt /Learn-Statistical-Learning-Method

相关代码

Dod-o /Statistical-Learning-Method_Code

统计学习方法读书笔记（十八）-概率潜在语义分析
scu-liu的博客
01-26 482
全部笔记的汇总贴：统计学习方法读书笔记汇总贴 PDF免费下载：《统计学习方法（第二版）》 概率潜在语义分析（PLSA）是一种利用概率生成模型对文本集合进行话题分析的无监督学习方法。模型的最大特点是用隐变量表示话题；整个模型表示文本生成话题，话题生成单词，从而得到单词-文本共现数据的过程；假设每个文本由一个话题分布决定，每个话题由一个单词分布决定。 一、概率潜在语义分析模型 二、概率潜在语义分析的算法 概率潜在语义分析模型是含有隐变量的模型，其学习通常使用EM算法。EM算法是一种迭代算法，每次迭代包括交替
统计学习方法学习笔记：第十八章.概率潜在语义分析
weixin_44692791的博客
11-05 327
第十八章：概率潜在语义分析 概率潜在语义分析是利用概率生成模型\color{red}{利用概率生成模型}利用概率生成模型对文本集合进行话题分析的方法： 给定一个文本集合，通过概率潜在语义分析（求解生成模型\共现模型的参数）,可以得到各个文本生成话题的条件概率分布：P(z|d)，以及各个话题生成单词的条件概率分布：P(w|z) 学习策略： 观测数据（w、d）的极大似然估计 学习算法： EM算法（...
复现经典：《统计学习方法》第18章 概率潜在语义分析
fengdu78的博客
06-09 922
第18章 概率潜在语义分析本文是李航老师的《统计学习方法》一书的代码复现。作者：黄海广备注：代码都可以在github中下载。我将陆续将代码发布在公众号“机器学习初学者”，可以在这个专辑在...
《统计学习方法》啃书手册｜第18章 概率潜在语义分析（教材全解 + 公式推导 + Python实现）
长行
07-14 494
18.1 概率潜在语义分析模型 【补充解释】“软的类别”是指软聚类中的类别。软聚类是指，一个单词或文本可以被分到两个或两个以上的类的分类方法。 【补充说明】图18.5中的单词单纯形，即在定义域内，距离坐标原点的曼哈顿距离为111的点所构成的平面。 多项分布 已知随机试验中，事件AAA发生的概率是ppp，则事件AAA不发生的概率是q=1−pq=1-pq=1−p。nnn次独立重复的试验中，xxx表示事件AAA发生的次数，则事件AAA发生kkk次的概率为 P(x=k)=Cnk×pk×qn−k P(x=k) = C
李航老师《统计学习方法》第2版课件：第18章 概率潜在语义分析.rar
03-10
在第18章“概率潜在语义分析”中，李航老师详细探讨了如何利用概率模型来理解和挖掘文本数据的深层次结构。这一章的知识点主要涵盖了以下几个方面： 1. **潜在语义分析（Latent Semantic Analysis, LSA）**：LSA是...
李航老师《统计学习方法》第2版课件：第17章 潜在语义分析.rar
03-10
《统计学习方法》是李航老师的一本经典...通过李航老师的《统计学习方法》第17章的学习，读者将不仅理解潜在语义分析的基本原理，还能掌握其在实际问题中的应用技巧，为进一步研究自然语言处理和机器学习打下坚实基础。
统计学习方法（第二版）李航——读书笔记I
ftiasch_的博客
10-15 1772
统计学习方法（第二版）李航 Chapter 1：统计学习及监督学习概论读书笔记
《统计学习方法-李航》200页PDF手推公式细节讲解，包含详细的目录以及R语言代码实现，可结合
最新发布
09-22
《统计学习方法-李航》是一本专注于统计学习领域的专业书籍，由李航所著。此书被广泛应用于机器学习、数据挖掘、模式识别等多个领域，是学习统计学习理论与方法的重要参考资料。华为杯则是指与华为公司相关的一系列...
李航《统计学习方法（第二版）》笔记：第一章——统计学习及监督学习概论（一）
Jelly's Blog
09-06 1010
目录1. 统计学习概念2. 统计学习分类2.1 基本分类2.2 按模型分类2.3 按算法分类2.4 按技巧分类3. 统计学习方法三要素3.1 模型3.2 策略3.3 算法4. 模型评估与模型选择4.1 训练误差与测试误差4.2 过拟合与模型选择5. 正则化与交叉验证5.1 正则化5.2 交叉验证6. 泛化能力6.1 泛化误差6.2 泛化误差上界7. 生成模型与判别模型8. 监督学习应用8.1 分类问题8.2 标注问题8.3 回归问题 1. 统计学习概念 赫尔伯特·西蒙：“如果一个系统能够通过执行某个过程改进
概率潜在语义分析（ PLSA）详解
zhong_ddbb的博客
05-24 3200
文章目录生成模型共现模型模型性质模型参数与LSA关系PLSA实现算法 概率潜在语义分析（probabilistic latent semantic analysis, PLSA）是一种利用概率生成模型对文本集合进行话题分析的无监督方法。模型最大的特点是用隐变量表示话题，整个模型表示文本生成话题，话题生成单词，从而得到单词—文本共现数据的过程。 假设每个文本由一个话题分布决定，每个话题由一个单词分布决定。潜在语义分析基于非概率模型，概率潜在语义分析基于概率模型。 生成模型 假设有M个单词集合W={w1,w2.
《统计学习方法（第2版）》李航 第18章 概率潜在语义分析 PLSA PLSI 思维导图笔记 及 课后习题答案（步骤详细， 包含生成模型，共现模型算法推导及实现）第十八章
qq_26928055的博客
05-16 760
思维导图： 18.1 证明生成模型与共现模型是等价的。 首先，注意到一个重要的假设，假设z给定的条件下，w与d相互是独立的，则： P(w,z∣d)=P(z∣d)P(w∣z,d)=P(z∣d)P(w∣z) P(w, z \mid d)=P(z \mid d) P(w \mid z, d)=P(z \mid d) P(w \mid z) P(w,z∣d)=P(z∣d)P(w∣z,d)=P(z∣d)P(w∣z) P(w,d∣z)=P(w∣d)P(d∣z) P(w, d \mid z)=P(w \mid d) P
概率潜在语义分析
Mrrunsen的博客
07-01 497
概率潜在语义分析 Probabilistic Latent Semantic Analysis 1.概率潜在语义分析是利用概率生成模型对文本集合进行话题分析的方法。概率潜在语义分析受潜在语义分析的启发提出两者可以通过矩阵分解关联起来。 给定一个文本集合，通过概率潜在语义分析，可以得到各个文本生成话题的条件概率分布，以及各个话题生成单词的条件概率分布。 概率潜在语义分析的模型有生成模型，以及等价的共现模型。其学习策略是观测数据的极大似然估计，其学习算法是EM算法。 2.生成模型表示文本生成话题，话题生成单词从
EM 算法推导详解
cocofisher的博客
08-05 908
EM算法介绍 EM（Expectation-Maximum）算法，即期望最大化算法，是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。简单来说，就是一种通过不断迭代更新来解得最优概率模型参数的算法。那么，为什么使用EM算法而不直接使用极大似然估计来获得模型参数呢？这里用三硬币模型举例说明。 场景描述：假设有三枚硬币，分别记作A， B， C。这些硬币正面出现的概率分别是πππ，ppp，qqq。进行如下掷硬币试验：先掷硬币A，根据其结果选出硬币B或C，正面选硬币B，反面边硬币C；然后掷选出的硬币，掷硬
pLSA参数估计的EM算法推导
大风车
10-23 724
pLSA 可参考概率潜在语义分析（PLSA）（probabilistic latent semantic analysis） EM算法可参考​​​​​​EM（期望最大）算法推导以及实例计算 拉格朗日乘子法可参考如何理解拉格朗日乘子法？ 好啦，下面开始做一个简单的推导。 首先我们先回顾一个 pLSA，以生成模型为例。 生成模型假设在话题给定条件下，单词和文本条件独立，即： 设单词集合为，文本集合为，话题集合为。给定单词-文本共现数据,,。为单词在文本中...
李航老师《统计学习方法》第二版第十八章概率潜在语义分析课后习题答案
qq_41626059的博客
05-24 1660
1、证明生成模型和共享模型是等价的。 证明： 1.1生成模型 首先，生成模型基于假设：假设在话题zzz给定条件下，单词www和文本ddd条件独立，即： P(w,z∣d)=P(z∣d)P(w∣z,d)=P(z∣d)P(w∣z)(1)P(w,z|d) = P(z|d)P(w|z,d) = P(z|d)P(w|z)\tag{1}P(w,z∣d)=P(z∣d)P(w∣z,d)=P(z∣d)P(w∣z)(1) 公式（1）的第二个等号成立是因为当随机变量x1,x2x_{1},x_{2}x1​,x2​独立时有P(x1∣x
em算法详细例子及推导_EM算法：理论部分
weixin_39698007的博客
11-30 1011
1.算法引入1.1定义 在《数学之美》中，吴军教授称EM算法是上帝的算法，为了了解EM算法的奥妙之处。首先说说什么是EM算法，EM算法即最大期望算法（Expectation-maximization algorithm），在统计中被用于寻找，依赖于不可观察的隐性变量的概率模型中，参数的最大似然估计。在统计计算中，最大期望（EM）算法是在概率模型中寻找参数最大似然估计或者最大后验估计的...
主题模型TopicModel：PLSA模型及PLSA的EM推导
热门推荐
皮皮blog
01-09 1万+
基于概率统计的PLSA模型，并且用EM算法学习模型参数。PLSA的概率图模型如下 其中D代表文档，Z代表隐含类别或者主题，W为观察到的单词，表示单词出现在文档的概率，表示文档中出现主题下的单词的概率，给定主题出现单词的概率。并且每个主题在所有词项上服从Multinomial 分布，每个文档在所有主题上服从Multinomial 分布。整个文档的生成过程是这样的： (1) 以的概率选中文
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值