【NLP】LDA笔记之模型评估

已于 2022-04-29 08:27:45 修改
阅读量3.9k 收藏 13
点赞数 5
分类专栏： NLP 文章标签： 自然语言处理 人工智能 r语言
于 2019-11-20 16:04:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YWP_2016/article/details/103123043
版权

Reference

 

Number of topics

Plexity  OR  maximum likelihood estimation

使用R语言进行主题发现：使用R语言进行主题发现（一） - 深度客 - 博客园 

要在数据集中确定主题的个数，需要事先设定主题个数的搜索范围；然后分别使用LDA计算主题模型在不同主题数目下的困惑度或者似然估计数值，最终能够使得模型困惑度最低或者似然估计值最大的主题数即为最佳的主题个数。一般为了降低困惑度，通常还会采取交叉验证的方法进行。（由似然估计判别：抽取每个主题的对数似然估计值，计算各个主题的调和平均数，将其作为模型的最大似然估计）

图源《Trends in Diatom Research Since 1991 Based on Topic Modeling》

准确率

融合词向量及BTM模型的问题分类方法

Perplexity

theory

python下进行lda主题挖掘(三)——计算困惑度perplexity

评估LDA主题模型-perflexity：LDA主题模型好坏的评估，判断改进的参数或者算法的建模能力。

code

topic-models-evaluation-in-gensim

Topic Coherence

gensim: CV Conference OR UMass Conference

主题模型TopicModel：LDA主题模型的评估

https://github.com/fozziethebeat/TopicModelComparison

查全率(recall)、查准率(precision)、F1值(F1 score)

《主题模型在基于社交媒体的灾害分类中的应用及比较》对比LDA与BTM模型性能：分别从LDA、BTM模型（Bi-term Topic Model, BTM双词对主题模型）推断结果中的每一类随机抽取出 102 条、101 条进行人工判别检验，人为地将原文本归到该8个大类中。（将2种模型推断主 题的结果与人工判别主题结果进行精度检验和比 对，并且对模型的分类结果进行应用分析）

主题模型在基于社交媒体的灾害分类中的应用及比较

《不同语料下基于LDA主题模型的科学文献主题抽取效果分析》

《基于主题模型的微博话题检测算法》：实验评估采用信息检测领域最常用的 3 个评价指标：准确率 P（precision）——结果中有多少是准确的、召回率即查全率 R（recall）——所有准确的结果中有多少被检测出来；综合评价指标 F 值（F-value）——准确率与召回率 的综合评价参数。

定量+定性评价

《不同语料下基于LDA主题模型的科学文献主题抽取效果分析》

定量评价：查准率、查全率和 F 值；信息熵。定性评价：主题抽取的广度（所抽取的有效主题在本学科领域内的覆盖 范围）和主题粒度（主题的细化程度）。主题抽取的广度越广，抽取的主题粒度越细，则主题抽取的效果越好。

YWP_2016
关注
  • 5
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Python LDA主题模型 NLP自然语言处理 jieba分词停用词标点符号中文预处理
03-23
Python LDA主题模型 NLP自然语言处理 jieba分词停用词标点符号中文预处理 """ 加载初始数据信息 str:文件传输路径 index:所需真实值索引列表 """ """ 去掉文本中的空格 input:our_data为list文本数据 output:去除空格后的文本list """ """ 判断单词是否为中文 input:word单个单词 output:是中文True,不是中文False """ """ 判断短句是否为纯中文 input:words短句 output:是中文True,不是中文False """ """ 将文本数据格式化去除非中文字符 input:contents list结构的文本数据 output:去除非中文字符的数据 """ """ 对文本进行jieba分词 input:contents文本list output:分词后的文本list """
再谈LDA：熵，先验和收敛
04-07
对于小数据或大数据，潜在狄利克雷分配（LDA）的推理算法可以大致分为期望最大化（EM），变分贝叶斯（VB）和折叠吉布斯抽样（GS）。 寻找对这些不同推理算法的统一理解是当前一个重要的开放问题。 在本文中，我们从熵的角度重新审视了这三种算法，并表明EM可以通过直接最小化观察到的词分布与LDA的预测分布之间的交叉熵来达到最佳的预测困惑度（LDA准确性的标准性能指标）。 此外，EM可以通过调整LDA的先验条件（例如Dirichlet超参数和主题数）来更改LDA的预测分布的熵，以最小化与观察到的单词分布的交叉熵。 最后，我们提出了自适应EM（AEM）算法，该算法比从小数据到大数据以及LDA模型的当前最先进的SparseLDA [20]和AliasLDA [12]都收敛更快，更准确。 核心思想是，通过连续迭代中E步之间的残差来衡量的活动主题数量显着减少，从而导致就主题数量而言摊销的σ（1）时间复杂度。 AEM的开源代码可在GitHub上获得。
主题模型TopicModel：LDA主题模型的评估
皮皮blog
01-06 3万+
LDA主题模型好坏的评估，判断改进的参数或者算法的建模能力。 Blei先生在论文《Latent Dirichlet Allocation》实验中用的是Perplexity值作为评判标准。 一、Perplexity定义 http://en.wikipedia.org/wiki/Perplexity perplexity是一种信息理论的测量方法，b的perplexity值定义为基于b的
python下进行lda主题挖掘(三)——计算困惑度perplexity
热门推荐
明月清風
03-07 5万+
训练好LDA主题模型后，如何评价模型的好坏？能否直接将训练好的模型拿去应用？这是一个比较重要的问题，在对模型精度要求比较高的项目或科研中，需要对模型进行评价。一般来说，LDA模型的主题数量都是需要需要根据具体任务进行调整的，即要评价不同主题数的模型的困惑度来选择最优的那个模型。...
数字信号处理7——点到向量的距离
GZ的博客
11-21 9314
目录 一、前言 二、点到线段的最短距离——向量法 三、点到直线的最短距离——直线法 四、点到直线最短距离——向量法 一、前言 其实在工程应用中很多情况下计算点到直线或者点到线段的距离，比如在unity3d游戏软件设计中计算任意形状路径起点和终点连线距离最远的点，比如用于雷达聚类后在跟踪算法中计算哪个sensor距离最近，另外还需要知道要计算的点位于直线的哪一侧，这些计算在游戏开发或者数字信号后处理要求实时性，因此需要高效的运算。这里记录一下几种计算方法，方便需要时回忆。 二、...
LDA主题模型评价指标汇总
Ace Cheney的博客
02-06 1万+
主题模型评价指标-主题距离引入与效果展示注意事项个人经验 引入与效果展示 在训练好LDA模型后，一个很自然的举动就是尝试去衡量模型的好坏。 比如去看看自己聚出来的模型直接有哪些不同。 本文介绍的模型评价可视化指标的最终的效果是这样的： 我使用LDA把语料集聚成了10类，所以横纵坐标 Jaccard Distance #原理 注意事项 此函数仅适用于gensimLDA模型，gensim的HDP和malletLDA并不可用，如果使用会报错如： AttributeError: 'LdaMallet' obj
【PCA、LDA降维，及模型评估（SE,SP,AUC）】
weixin_43793397的博客
11-26 3316
1. 采用 PCA 对男女生样本数据中的（身高、体重、鞋码、50m 成绩、肺活量） 共 5 个特征进行特征降维，并实现 LDA 算法对处理后的特征进行分类，计算 模型预测性能（包含 SE、SP、ACC 和 AUC），试分析 LDA 算法如果作为降维 技术对于各性能指标的影响。 2. 实现基于信息增益率进行划分选择的决策树算法，对男女生样本数据中的（喜 欢颜色，喜欢运动，喜欢文学）3 个特征进行分类，计算模型预测性能（包 含 SE、SP、ACC），并以友好的方式图示化结果。 本文的运行环境是window.
LDA主题建模——基于鸿星尔克微博热搜评论
xy2003king的博客
04-24 5036
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档​​​​​​​。
Python实现LDA和KNN人脸识别模型(LinearDiscriminantAnalysis和KNeighborsClassifier算法)项目实战
京斗码农的博客
11-22 1478
Python实现LDA和KNN人脸识别模型(LinearDiscriminantAnalysis和KNeighborsClassifier算法)项目实战
BTM主题模型构建及困惑度计算
weixin_40143316的博客
10-19 8656
小白一枚，有什么不对的地方请多指教。 BTM主题模型主要针对短文本而言，这里实现的方法主要参考论文《A Biterm Topic Model for Short Texts》，代码在作者的github上也有上传，我主要参考的是它的python版本：https://github.com/jasperyang/BTMpy 本文主要在以上基础上加入困惑度计算，困惑度计算公式如下所示： 其中 def pe...
【项目实战】Python实现基于LDA主题模型进行电商产品评论数据情感分析
02-14
资料说明：包括数据+代码+文档+代码讲解。 前言 2.项目背景 3.分析流程 4.数据预处理 5.评论分词 6.情感分析与建立模型 7.实际应用
自然语言处理-基于预训练模型的方法 笔记
12-30
自然语言处理-基于预训练模型的方法 笔记
自然语言处理-基于预训练模型的方法-笔记
09-01
哈工大的那本书，很好的一本书。 html/website/markdown 格式请查阅本人博客：https://zenmoore.github.io
自然语言处理(NLP)-LDA模型:对电商购物评论进行情感分析项目源码+数据集
最新发布
03-19
自然语言处理(NLP)——LDA模型:对电商购物评论进行情感分析项目源码+数据集 应用 LDA是一种非监督机器学习技术，可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。 使用了词袋...
【Python_NLP】gensim与DTM
越努力，越幸运
08-21 5875
注：本文＝多篇文章精华提炼＋个人总结 参考博客出处： 链接：https://blog.csdn.net/l7H9JA4/article/details/80220939 作者：李雪冬 编辑：李雪冬 https://blog.csdn.net/qq_42988748/article/details/82657562 http://blog.chinaunix.net/u...
【NLP_事件抽取】基于模板匹配
越努力，越幸运
01-04 4478
源码来源 https://github.com/liuhuanyong/EventTriplesExtractionhttps://github.com/liuhuanyong/EventTriplesExtraction 抽取示例 示例文本 记者从云南北移亚洲象群安全防范工作省级指挥部了解到，象群于6月17日21时48分进入玉溪市峨山彝族自治县辖区，向西偏北方向迁移13.5公里，在峨山县大龙潭乡附近活动。独象离群13天，于6月17日22时7分进入安宁市辖区，位于象群正东方向，与象群直线距离24.7
【NLP】LDA2Vec笔记（基于cemoody/lda2vec 未实现）
越努力，越幸运
10-30 4453
学习链接：https://blog.csdn.net/u010161379/article/details/51250109 目录 说明 理论 __init__.py 简介 修改+注释后代码 corpus.py 简介 preprocess.py 准备工作 定义tokenize函数 preprocess.py完整代码（注释版） examples: hacker_news ...
【NLP_命名实体识别】Albert+BiLSTM+CRF模型训练、评估与使用
越努力，越幸运
03-10 4029
模型代码修改 2021/3/10：使用训练好的Bert/Albert-CRF模型，同时，在此基础上，加一层BiLSTM网络，得修改后的Albert-BiLSTM-CRF模型（见下一篇文章），开始训练。 修改思路：以已有的Albert+CRF模型代码为基础，参考网上的Albert+BiLSTM+CRF模型，稍加修改即可。值得注意的，无非是“三种模型”之间的数据传递类型，比如，将Albert模型训练得到的embedding，传入BiLSTM（参考：https://www.cnblogs.com/gczr/p
自然语言处理 vs 大模型
03-19
自然语言处理（Natural Language Processing，简称NLP）是一门研究人类语言与计算机之间交互的学科。它涉及了对自然语言的理解、生成、翻译和处理等任务。NLP的目标是使计算机能够理解和处理人类语言，从而实现与人类进行自然而有效的交流。 大模型是指具有大规模参数量的机器学习模型。近年来，随着计算能力和数据量的增加，大模型在各个领域取得了显著的成果。大模型通常通过深度学习方法进行训练，可以在各种任务上取得优秀的性能，包括自然语言处理、图像识别、语音识别等。 自然语言处理与大模型之间存在一定的联系和关系。大模型可以应用于自然语言处理任务中，通过训练大规模的神经网络模型，可以提高自然语言处理任务的性能和效果。例如，使用大模型进行文本分类、情感分析、机器翻译等任务时，可以获得更准确和准确的结果。 同时，自然语言处理也可以为大模型提供数据和应用场景。通过自然语言处理技术，可以对文本数据进行预处理、特征提取和语义理解，为大模型提供更好的输入数据。此外，自然语言处理还可以应用于大模型的评估和解释，帮助理解和解释大模型的决策过程和结果。 总结来说，自然语言处理和大模型是相互关联和相互促进的。自然语言处理为大模型提供了数据和应用场景，而大模型则可以提高自然语言处理任务的性能和效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值