LDA学习心得

最新推荐文章于 2022-03-23 00:45:55 发布
最新推荐文章于 2022-03-23 00:45:55 发布
阅读量413 收藏
点赞数 1
分类专栏： 机器学习心得
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013731743/article/details/40349443
版权
本文介绍了如何通过线性判别分析(LDA)进行类别区分，包括类内及类间离散度的计算，并给出了求解最优投影方向的具体步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

根据符号说明可得类i的样本均值为：

 …………………………………………………………………… （1）

同理我们也可以得到总体样本均值：

………………………………………………………………………… （2）

根据类间离散度矩阵和类内离散度矩阵定义，可以得到如下式子：

  ……………………………………………… （3）

http://hi.csdn.net/attachment/201004/11/47140_1270987769CK7K.png…………………………………… （4）

求W方法有两种

（1）

Fisher鉴别准则表达式：

求W使类内离散度最小，类间离散度最大

（2）

引入损失函数

表示LDA投影到w后的损失函数：

image

代入化简也可化为fisher鉴别表达式的形式，再利用拉格朗日子乘法（分母限制长度为1？），对W求导

 

最终都得到表达式Sbα=λSwα

解特征向量即为所求W

 

大数据比赛的总结和心得体会..zip
11-07
以下是我在大数据比赛中的总结和心得体会。 1. 数据预处理：数据是所有分析的基础，预处理工作至关重要。这包括清洗（去除异常值、缺失值处理）、转换（标准化、归一化）、编码（类别变量的one-hot编码）等步骤。在...
线性判别准则(LDA)与线性分类算法(SVM))
weixin_47554309的博客
11-01 2013
线性判别准则与线性分类算法一、线性判别分析简介二、线性判别分析原理1. 类内散度矩阵2. 类间散度矩阵3. 广义瑞利商三、Sklearn库实现线性判别分析四、SVM1. 简介2. 距离衡量标准五、SVM数据集进行可视化分类月亮数据集1. 线性SVM2. 多项式核3. 高斯核六、总计七、参考 一、线性判别分析简介 线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的有监督数据降维方法。 LDA的主要思想是将一个高维空间中的数据投影到一个较低维的空间中，且投影后要保
LDA学习总结
a123456ei的专栏
04-02 1万+
今天晚上看了lda算法的原理，深感自己知识的缺乏啊（Dirichlet分布、多项分布、图模型、Gibbs抽样）。这也让我深感惭愧，早就意识到自己数学知识的缺乏，但是一直没有补一下。    好吧，简单来总结一下现在对lda的理解（还有很多的地方不理解）。    1、用途：    判断两个文档的关联程度使用的方法是查看两个文档中出现相同的单词的个数，就如TF-IDF，这种方法未能够找到隐藏到文本
机器学习：线性判别分析从理论到公式推导（LDA）
Hanze的博客
03-23 980
机器学习：线性判别分析从理论到公式推导（LDA）数据定义理论概述与变量定义公式推导 数据定义 DataSet X：=(xi,yi)i=1N,令X的每个观测值xi∈Rp{(x_i,y_i)}_{i=1}^N,令X的每个观测值xi \in R^p(xi​,yi​)i=1N​,令X的每个观测值xi∈Rp，Y的每个元素yi∈Ry_i\in Ryi​∈R，我们继续化简，X=[x11x12...x1px21x22...x2p......xn1xn2...xnp](1) \left[ \begin{matrix} x_{
LDA主题模型学习心得
你不该把世界让给你所鄙视的人。
01-04 1万+
LDA主题模型LDA 简介 LDA模型：Latent Dirichlet Allocation是Blei 等人于2003年提出的基于概率模型的主题模型算法，它是一种非监督机器学习技术，可以用来识别大规模文档集或预料库中的潜在隐藏的主题信息。 LDA算法的核心思想：每篇文章由多个主题mix混合而成的，而每个主题可以由多个词的概率表征。该方法假设每个词是由背后的一个潜在隐藏的主题中抽取的。
机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(PCA)
weixin_34185320的博客
01-08 1252
版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com 前言： 第二篇的文章中谈到，和部门老大一宁出去outing的时候，他给了我相当多的机器学习的建议，里面涉及到很多的算法的意义、学习方法等等。一宁上次给我提到，如果...
机器学习入门教程详细攻略 机器学习概述总结
10-10
参与机器学习社区和论坛，与同行交流学习心得。 二、监督学习 重点内容： 监督学习的定义与特点 线性回归与逻辑回归 支持向量机（SVM） 决策树与随机森林 K近邻算法（KNN） 如何学习： 通过编程实践...
模式识别实验报告（五个实验）
11-26
**模式识别实验报告** 实验一：贝叶斯分类器 一、原理简述 贝叶斯分类器基于贝叶斯定理，它...通过这些实验，学生不仅学习了各种算法的原理，还体验了实际应用中的问题和解决方案，为后续的深入学习奠定了坚实基础。
本人多次机器学习与大数据竞赛Top5的经验总结，满满的干货，拿好不谢.zip
05-08
这份压缩包“本人多次机器学习与大数据竞赛Top5的经验总结，满满的干货，拿好不谢.zip”显然是作者在经过一系列激烈竞争后，将宝贵的心得体会整理出来分享给大家的精华内容。下面，我将根据标题和描述，为你详细解读...
OpenCV-Face-Recognition:实验报告
05-22
而Fisherfaces则是改进版，采用线性判别分析（LDA），更注重类间差异，从而提高识别率。 最后，随着深度学习的发展，基于深度神经网络的方法，如卷积神经网络（CNN），已经在人脸识别中取得了显著的成果。这些模型...
LDA主题模型学习总结
kongkongqixi的博客
09-29 1万+
本篇主要总结隐含狄利克雷分布(Latent Dirichlet Allocation，以下简称LDA) 1.贝叶斯定理 贝叶斯定理是关于随机事件A和B的条件概率的定理。                                                                 在贝叶斯定理中： P(A|B)是在事件B发生的条件下事件A发生的条件概率，也由于得自B的取值而...
LDA学习
平平淡淡，戒急用忍，一生学闭嘴。
06-25 340
scikit-learn机器学习（一）–多元线性回归模型 scikit-learn机器学习（二）–岭回归，Lasso回归和ElasticNet回归 scikit-learn机器学习（三）–逻辑回归和线性判别分析LDA 前面的线性回归模型是解决预测问题的，根据样本的多个特征，推测其目标值，但是现实生活中除了这种预测问题之外，还有一种问题就是分类问题，比如这个人是否得病，邮件是否为垃圾邮件等 逻辑回归和LDA就用于这一类的分类问题 一丶逻辑回归 逻辑回归虽然名字是回归，实际上他是一个分类模型，一般的线性模.
LDA(线性判别分析)学习总结
sxx1214的博客
07-02 616
LDA是一种有监督的降维和分类算法，其主要思想是投影后类内方差最小，类间方差最大。 二分类情况 类间离散度定义为： (μ~1−μ~2)2=(wTμ1−wTμ2)2=wT(μ1−μ2)(μ1−μ2)Tw=wTSBw (\tilde \mu _1 - \tilde \mu _2 )^2 = (w^T \mu _1 - w^T \mu _2 )^2 = w^T (\mu _1 - \mu _2...
NLP︱LDA主题模型的应用难题、使用心得及从多元统计角度剖析
热门推荐
素质云笔记
08-17 2万+
将LDA跟多元统计分析结合起来看，那么LDA中的主题就像词主成分，其把主成分-样本之间的关系说清楚了。多元学的时候聚类分为Q型聚类、R型聚类以及主成分分析。R型聚类、主成分分析针对变量，Q型聚类针对样本。 PCA主要将的是主成分-变量之间的关系，在文本中LDA也有同样的效果，将一撮词（变量）变成话题（主成分），同时通过画像主成分，可以知道人群喜欢什么样子的话题； Q型聚类代表样本之间的群落关系
LDA（线性判别分析 )
weixin_41690708的博客
07-31 1171
　在主成分分析（PCA）原理总结中，对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。 思想： 　LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别...
机器学习中的矩阵求导的一点总结（三种方法求线性回归最佳参数）
promisejia
05-01 1万+
在实际机器学习工作中，最常用的就是实值函数 y 对向量 x或矩阵 X 求导，比如最简单的线性回归问题中由目标函数 dJ(w)dJ(w) dJ(w) 求解最佳参数向量 ww w 。 矩阵/向量求导问题中要明确是什么量对什么量求导，得到的是什么形式的量 实值函数对向量求导，结果是同样维度和方向的向量 实值函数对矩阵求导，结果是同样维度的矩阵 本文以线性回归问题中由目标函数 dJ(w)dJ...
JGibbLDA使用总结
uzY)&PHd!cqj
02-20 1万+
最近在做基于LDA（Latent Dirichlet Allocation）的文本分类处理，开始学习和接触了LDA，因为代码采用的是Java，所以我选择的LDA开源工具是JGibbLDA，这个是LDA的Java版本实现，下载地址为：http://jgibblda.sourceforge.net/ ，当前最新版本为v1.0。同时对应的C++版本为GibbsLDA，下载地址为：http://gibbs
史上最直白的LDA教程之一
大数据和机器学习研究
12-16 9751
前言LDA线性鉴别分析，又叫线性鉴别矢量，它是Ronald Fisher发明的，所以有时候又叫Fisher鉴别矢量，它的核化版本叫KFDA(Kernel Fisher Discriminant Analysis)。机器学习的分类问题 ，是一种有监督学习。所谓有监督，就是知道训练样本的类别。顾名思义，无监督学习就是没有样本的类别信息，比如PCA就是无监督学习，如我们前面推导过的PCA，不需要
tf-idf lda
最新发布
03-20
### TF-IDF与LDA在文本处理和主题建模中的关系 #### 背景介绍 TF-IDF（Term Frequency-Inverse Document Frequency）是一种用于衡量词语重要性的权重方案，在信息检索领域被广泛应用。它通过计算某个词项在一个文档中的频率以及该词在整个语料库中的逆文档频率来评估其重要性[^1]。 另一方面，LDA（Latent Dirichlet Allocation）是一种概率主题模型，旨在发现大规模文本集合中的潜在主题结构。LDA假设每篇文档是由多个主题混合而成，并且每个主题由一组单词分布定义[^3]。 尽管两者的目标不同——TF-IDF主要用于特征提取而LDA专注于主题建模——它们可以相互补充并结合使用于文本分析任务中。 --- #### 结合方式及其应用 ##### 1. 使用TF-IDF作为输入预处理方法 在构建LDA模型之前，可以通过TF-IDF对原始文本数据进行加权转换。这一步骤有助于减少高频但无意义的停用词的影响，从而提高后续主题建模的质量。具体来说： - **优势**: 高频低价值词汇会被赋予较低权重，使得更具有区分度的术语更容易影响最终的主题分配。 - **实现过程**: - 计算每个词项的TF-IDF分数； - 将这些分数映射到稀疏矩阵形式； - 把此矩阵传递给LDA算法以训练模型。 以下是基于Python的一个简单示例代码片段展示如何利用`sklearn`库完成上述操作: ```python from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.decomposition import LatentDirichletAllocation # 假设corpus是一个包含多篇文章字符串列表 vectorizer = TfidfVectorizer(max_df=0.95, min_df=2, stop_words='english') tfidf_matrix = vectorizer.fit_transform(corpus) lda_model = LatentDirichletAllocation(n_components=10, random_state=42) topics_distribution = lda_model.fit_transform(tfidf_matrix) ``` 此处，`TfidfVectorizer`负责生成经过TF-IDF调整后的向量表示；随后将其送入`LatentDirichletAllocation`类实例化对象执行实际学习流程。 --- ##### 2. 利用TF-IDF筛选关键词辅助解释LDA结果 当获得一系列抽象话题之后，可能还需要进一步简化表达以便人类理解。此时可借助先前得到的TF-IDF得分挑选出最能代表各主题的核心词汇组合起来形成易于解读的形式。 例如对于某特定主题t_i而言，选取前k个最高分对应的词条构成标签集{w_ik}，这样既保留了原生统计特性又增强了直观感受效果. --- ##### 3. 性能优化考虑因素 需要注意的是并非所有场景下都适合采用这种方式联合运用两种技术手段。因为如果初始资料本身已经过良好清洗并且具备较强内在规律，则单纯依赖LDA往往能够取得不错成效无需额外引入复杂机制增加负担; 反之则反之. 另外参数调节也是不可忽视的一环比如设置合适的ngram范围或者控制最大最小df阈值等等都会直接影响到最后呈现出来的质量好坏程度不一.[^4] --- ### 示例总结说明 综上所述可以看出合理搭配TF-IDF同LDA一起工作不仅可以有效提升整体表现水平而且还能带来诸多附加好处诸如增强鲁棒性和可控性等方面均有体现值得深入探索研究下去寻找更多可能性空间拓展边界限制条件下的最佳实践路径方向指引未来发展方向趋势预测前景展望规划蓝图构想愿景目标设定里程碑事件标记时间节点安排进度计划表制定实施方案细则规定规章制度建立标准体系框架搭建平台架构设计开发工具软件编写程序脚本制作教程指南撰写论文报告发表学术文章分享经验心得交流心得体会互相促进共同成长进步发展变化创新变革突破传统局限开拓新兴领域挖掘潜力资源最大化利用效率效益双丰收双赢局面达成共识统一意见协调行动一致步调整齐划一向前迈进不断超越自我追求卓越成就非凡事业创造辉煌业绩载入史册流芳百世万古流传永垂不朽！ ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值