LDA学习心得

最新推荐文章于 2022-03-25 16:11:05 发布

桔北程序猿

最新推荐文章于 2022-03-25 16:11:05 发布

阅读量399

点赞数 1

分类专栏：机器学习心得

本文链接：https://blog.csdn.net/u013731743/article/details/40349443

版权

机器学习心得专栏收录该内容

2 篇文章 0 订阅

订阅专栏

根据符号说明可得类i的样本均值为：

…………………………………………………………………… （1）

同理我们也可以得到总体样本均值：

………………………………………………………………………… （2）

根据类间离散度矩阵和类内离散度矩阵定义，可以得到如下式子：

……………………………………………… （3）

…………………………………… （4）

求W方法有两种

（1）

Fisher鉴别准则表达式：

求W使类内离散度最小，类间离散度最大

（2）

引入损失函数

表示LDA投影到w后的损失函数：

代入化简也可化为fisher鉴别表达式的形式，再利用拉格朗日子乘法（分母限制长度为1？），对W求导

最终都得到表达式Sbα=λSwα

解特征向量即为所求W

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

桔北程序猿

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

LDA主题模型学习心得

你不该把世界让给你所鄙视的人。

01-04

1万+

LDA主题模型LDA 简介 LDA模型：Latent Dirichlet Allocation是Blei 等人于2003年提出的基于概率模型的主题模型算法，它是一种非监督机器学习技术，可以用来识别大规模文档集或预料库中的潜在隐藏的主题信息。 LDA算法的核心思想：每篇文章由多个主题mix混合而成的，而每个主题可以由多个词的概率表征。该方法假设每个词是由背后的一个潜在隐藏的主题中抽取的。

机器学习--降维总结--PCA\LDA\SVD

小黎的学习总结的博客

03-02

799

本文部分参考和摘录了以下文章，在此由衷感谢以下作者的分享！ https://zhuanlan.zhihu.com/p/77151308 周志华老师的西瓜书百面机器学习开始咯！降维什么是降维呢，可以想象一个5 * 4矩阵乘以一个4 * 3 的一个矩阵，相当于对5 * 4的矩阵进行了线性变换，得到一个5 * 3的一个矩阵，他的维度就变成了5*3。那么降维有什么好处呢，我们为什么要进行降维？在...

参与评论您还未登录，请先登录后发表或查看评论

LDA学习总结

a123456ei的专栏

04-02

1万+

今天晚上看了lda算法的原理，深感自己知识的缺乏啊（Dirichlet分布、多项分布、图模型、Gibbs抽样）。这也让我深感惭愧，早就意识到自己数学知识的缺乏，但是一直没有补一下。好吧，简单来总结一下现在对lda的理解（还有很多的地方不理解）。 1、用途：判断两个文档的关联程度使用的方法是查看两个文档中出现相同的单词的个数，就如TF-IDF，这种方法未能够找到隐藏到文本

LDA主题模型读书笔记（一）

gzt940726的博客

03-25

2028

前言这几天在补主题模型LDA，看的我晕头转向的，最后梳理清楚思路后有以下几点感悟： LDA总的来看模型涉及到三方面：1.概率论知识；2.LDA自身的基本建模思想；3.Gibbs采样。为什么看得头晕？是因为我们总是把这三方面知识杂糅在一起了，其实把这几方面分开缕清楚，同时不去钻一些牛角尖的话（Dirichlet分布和Gibbs采样理论推导等），问题就简单多了。很多文章侧重在1和3上，却忽视了2，导致大家看了半天LDA都不知道目标函数是什么，其实这才是首要需要弄明白的。

LDA(线性判别分析)学习总结

sxx1214的博客

07-02

563

LDA是一种有监督的降维和分类算法，其主要思想是投影后类内方差最小，类间方差最大。二分类情况类间离散度定义为： (μ~1−μ~2)2=(wTμ1−wTμ2)2=wT(μ1−μ2)(μ1−μ2)Tw=wTSBw (\tilde \mu _1 - \tilde \mu _2 )^2 = (w^T \mu _1 - w^T \mu _2 )^2 = w^T (\mu _1 - \mu _2...

线性判别准则(LDA)与线性分类算法(SVM))

weixin_47554309的博客

11-01

1906

线性判别准则与线性分类算法一、线性判别分析简介二、线性判别分析原理1. 类内散度矩阵2. 类间散度矩阵3. 广义瑞利商三、Sklearn库实现线性判别分析四、SVM1. 简介2. 距离衡量标准五、SVM数据集进行可视化分类月亮数据集1. 线性SVM2. 多项式核3. 高斯核六、总计七、参考一、线性判别分析简介线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的有监督数据降维方法。 LDA的主要思想是将一个高维空间中的数据投影到一个较低维的空间中，且投影后要保

机器学习入门教程详细攻略机器学习概述总结

最新发布

10-10

参与机器学习社区和论坛，与同行交流学习心得。二、监督学习重点内容： 监督学习的定义与特点 线性回归与逻辑回归 支持向量机（SVM） 决策树与随机森林 K近邻算法（KNN）如何学习： 通过编程实践...

lda主题评论文本python_利用python做LDA文本分析，该从哪里入手呢？

weixin_39653078的博客

12-14

912

前段时间做了新浪微博的主题划分，结果还可以，上传上来算是对之前的一个交代吧数据集：利用Gooseeker在新浪微博上爬取了2161个用户，包括这些用户间21368条相互间的关注关系，爬取了2161个新浪微博发布的微博数，粉丝数和关注数，单个用户最近发布的300条微博，包括微博文本内容、微博的评论数和转发数。数据预处理：1)将单个用户发布的300条微博整合成一个文档2)对文档进行噪音处理，去除‘@某...

大数据比赛的总结和心得体会..zip

11-07

以下是我在大数据比赛中的总结和心得体会。 1. 数据预处理：数据是所有分析的基础，预处理工作至关重要。这包括清洗（去除异常值、缺失值处理）、转换（标准化、归一化）、编码（类别变量的one-hot编码）等步骤。在...

机器学习：线性判别分析从理论到公式推导（LDA）

Hanze的博客

03-23

929

机器学习：线性判别分析从理论到公式推导（LDA）数据定义理论概述与变量定义公式推导数据定义 DataSet X：=(xi,yi)i=1N,令X的每个观测值xi∈Rp{(x_i,y_i)}_{i=1}^N,令X的每个观测值xi \in R^p(xi,yi)i=1N,令X的每个观测值xi∈Rp，Y的每个元素yi∈Ry_i\in Ryi∈R，我们继续化简，X=[x11x12...x1px21x22...x2p......xn1xn2...xnp](1) \left[ \begin{matrix} x_{

机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(PCA)

weixin_34185320的博客

01-08

1232

LDA主题模型学习总结

kongkongqixi的博客

09-29

1万+

本篇主要总结隐含狄利克雷分布(Latent Dirichlet Allocation，以下简称LDA) 1.贝叶斯定理贝叶斯定理是关于随机事件A和B的条件概率的定理。在贝叶斯定理中： P(A|B)是在事件B发生的条件下事件A发生的条件概率，也由于得自B的取值而...

LDA（线性判别分析 )

weixin_41690708的博客

07-31

1126

　在主成分分析（PCA）原理总结中，对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。思想：　LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别...

机器学习中的矩阵求导的一点总结（三种方法求线性回归最佳参数）

promisejia

05-01

9874

在实际机器学习工作中，最常用的就是实值函数 y 对向量 x或矩阵 X 求导，比如最简单的线性回归问题中由目标函数 dJ(w)dJ(w) dJ(w) 求解最佳参数向量 ww w 。矩阵/向量求导问题中要明确是什么量对什么量求导，得到的是什么形式的量实值函数对向量求导，结果是同样维度和方向的向量实值函数对矩阵求导，结果是同样维度的矩阵本文以线性回归问题中由目标函数 dJ(w)dJ...

MPLS之LDP协议

weixin_37945631的博客

03-18

1万+

MPLS需要使用标签分发协议完成标签的分配控制和保持，目前有很多种标签分发协议，LDP(Label Distribution Protocol）为其中之一，LSR之间可以使用LDP协议来交换标签信息。运行LDP协议的LSR之间通过交换LOp消息来发现邻居、建立和维护LOpSession并管理标签。LD叫肖息承载在UOP或下CP之上，端口号为646。这里简单介绍LDP常用的一些消息和各个消息的主要功...

机器学习中常见的几种损失函数

weixin_30378623的博客

12-31

734

　　　　通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这个目标函数优化的过程。在分类或者回归问题中，通常使用损失函数（代价函数）作为其目标函数。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的算法使用的损失函数不一样。　　损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数...

NLP︱LDA主题模型的应用难题、使用心得及从多元统计角度剖析