【评论内容关键词提取】多种主流提取算法与大模型测试

已于 2023-10-16 07:52:55 修改
阅读量1.1w 收藏 37
点赞数 30
分类专栏： 深耕爬虫领域 文章标签： 算法 nlp
于 2023-09-21 18:43:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiulin_wu/article/details/133076706
版权
本文对比了多种关键词提取算法，包括TextRank、TFIDF、jionlp、sklearn的TF-IDF和CountVectorizer、Rake算法，以及hanlp的情感分析。此外，还探讨了大语言模型在关键词提取中的应用，如GPT。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

1. 写在前面

  做过舆情项目或文本内容情感分析的大家都知道，我们要从大量的文本内容中提取核心短语或者关键词！最近我们的爬虫项目中正好遇到了这么一个需求，我们收集了大量的评论内容文本数据，需要从中分析提炼关键词（最好能够找带情感色彩来提炼更佳）

在这里插入图片描述

本次测试的评论短文本内容，如下所示：

1、一星都不想给，动不动就登录不上，啥垃圾玩意儿！

可以看到以上评论内容带着强烈的情绪，应该是很容易提炼出有价值的关键词！

2. TextRank关键词提取算法

  TextRank通过词之间的相邻关系构建网络，然后用PageRank迭代计算每个节点的rank值，排序rank值即可得到关键词

TextRank是一种基于随机游走的关键词提取算法，考虑到不同词对可能有不同的共

了解本专栏 订阅专栏 解锁全文
KeyBert、TextRank等九种本文关键词提取算法（KPE）原理及代码实现
Python，数据分析，机器学习，深度学习
05-10 1万+
关键词提取 (Keyphrase Extraction，KPE) 任务可以自动提取文档中能够概括核心内容的短语，有利于下游信息检索和 NLP 任务。当前，由于对文档进行标注需要耗费大量资源且缺乏大规模的关键词提取数据集，无监督的关键词提取在实际应用中更为广泛。无监督关键词抽取的state of the art（SOTA）方法是对候选词和文档标识之间的相似度进行排序来选择关键词。但由于候选词和文档序列长度之间的差异导致了关键短语候选和文档的表征不匹配，导致以往的方法在长文档上的性能不佳，无法充分利用预训练模型
从零开始大模型开发与微调：文本主题的提取：基于TextRank
AI天才研究院
07-24 1022
从零开始大模型开发与微调：文本主题的提取：基于TextRank 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：文本主题提取，Te
京东手机评论分析（二）：关键词提取
Ding_xiaofei的博客
05-26 4517
开篇 这边尝试使用三种方法去提取关键词，我希望能通过一些关键词提取出相应的属性，为了修正我们的评论属性，我还会人为去补充相应的特征词典，关于同义词的一些问题暂且放开不考虑。 词频 直接贴出代码 import json import jieba import jieba.analyse from collections import Counter import string from ...
【LLms】关键词提取
最新发布
qq_60245590的博客
03-07 637
如 “am”“is”“are”“was”“were”“have”“has”“had” 等，用于构成时态、语态等，但对文本的核心内容影响较小。：用 TextRank 公式迭代计算每个节点的得分，直到收敛，得分反映词在文本中的重要性，按得分排序，选取得分靠前的作为关键词。：如 “I”“you”“he”“she”“it”“we”“they” 等，用于代替名词，但在文本分析中通常不是关键信息。：如 “in”“on”“at”“by”“with” 等，用于表示词语之间的关系，但在关键词提取等任务中通常可以忽略。
关键词抽取模型
Someone&的博客
03-04 6774
关键词抽取模型常见的算法有TF-IDF、TextRank等，本文仅在这里对这两种方法作原理的简单介绍。 1 TF-IDF算法 TF-IDF(term frequency-inverse document frequency) :一种用于资讯检索于资讯探勘的常用加权技术。是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随...
使用python实现微博评论分词与关键词提取（从MySQL数据库中读取数据）
qq_40379132的博客
05-16 2483
data_full.dat、data_keywords.dat 的具体内容如下，分别是分词结果和关键词提取结果，每个文件中有25行数据，对应五个表中的五个id。（2）在该文件下写入代码，jieba 安装包可在终端处用命令 pip install pymysql 导入 ，如果速度很慢，可以多试几次，或者用镜像下载。（3）在该文件下写入代码，pymysql 安装包在终端处用命令 pip install pymysql 导入 , 运行后即可向数据库db1中插入数据。可以看到新的数据库已加入到数据库列表中。
利用百度API进行淘宝评论关键词提取
weixin_44804517的博客
03-20 2079
自然语言处理作业（3.20） 本次作业是使用Python根据百度API编写一个关于自然语言处理的项目，我选择了自然语言处理技术中的评论观点抽取方面，通过手机淘宝购物的评论并对其进行分析，把关键词进行提取，方便买家快速了解该商品的相关特点，具体实现过程如下： 1、创建相关新应用 首先，需要登录百度AI平台，创建一个关于自然语言处理技术的应用（领取免费额度），获得AppID、API Key和Secret Key如下： 然后下载Python的SDK，然后可以通过阅读API的使用手册和自然语言处理技术的观点抽取相
[大语言模型-工程实践] 手把手教你-基于BERT模型提取商品标题关键词及优化改进
09-28 2155
关键词提取是信息检索和文本挖掘中的一项重要技术，它涉及从文本中识别和提取出最能代表文档内容的词语或短语。如下图所示，对于亚马逊上面的商品标题，在构建底层索引时，通常需要对标题做分词，提取里面核心词，用于构建倒排索引或者用于关键词匹配计算等。关键词提取技术可以通过多种方法实现，包括无监督学习和有监督学习的方法。首先，你需要定义一个LoRA模块，这个模块将被插入到BERT模型的特定层中。大语言模型，工程实践，BERT， 人工智能算法，前沿技术。
Python与自然语言处理——关键词提取算法（一）
wk19951125的博客
04-02 4120
Python与自然语言处理——关键词提取算法关键词提取算法TF/IDF算法TextRank算法LSA/LSI/LDA算法LSA/LSI算法 关键词提取算法 大体概况： 有监督：主要通过分类的方式进行，通过构建一个丰富完善的词表，判断每个文档与词表中每个词的匹配度，以类似打标签的形式达到关键词提取的效果。 无监督：受青睐的主流 TF/IDF算法 一种基于统计的计算方法，常用于评估在一个文档集中...
数据挖掘|商品评论关键词抽取、情感分析及情感可视化
fangyibo24的博客
03-29 4924
1 任务定义 给定商品评论数据集，对商品评论进行关键词抽取、情感分析，并对情感分值按月份聚类后用可视化图表呈现。本任务涉及的数据源为2020年美赛C题的三个tsv文件（csv文件以逗号分隔，而tsv文件以\t分隔，在利用pandas读取时需要增加sep参数，并设置为'\t'），本文主要使用该数据集中的最后两个字段：review_body和review_date。 import pandas as pd hair_dryer=pd.read_csv("./Dataset/hair_dry...
（AI大模型实战）快递单中抽取关键信息【一】----基于BiGRU+CR+预训练的词向量优化
2401_85373898的博客
06-04 537
BIGRU是一种经典的循环神经网络（RNN，Recurrent Neural Network），前面一些步骤基本是把该模型当做是黑盒子来用，这里我们重点解释下其概念和相关原理。一个 RNN 的示意图如下所示，图4：RNN示意图左边是原始的 RNN，可以看到绿色的点代码输入 x，红色的点代表输出 y，中间的蓝色是 RNN 模型部分。橙色的箭头由自身指向自身，表示 RNN 的输入来自于上时刻的输出，这也是为什么名字中带有循环（Recurrent）这个词。
淘宝关键词 批量生成+关键词提取
02-14
淘宝关直通车关键词提取，关键词批量生成工具，非要好用的组合，找关键词变的如此简单
用大模型增强知识图谱 —— 上下文解析、关键词识别、口语化输出能力
Debroon
06-19 856
在收到用户消息的时候，需要先做一步总结归纳，归纳出用户的真实问题。比如说历史对话中提到感冒，后面用户问吃什么药好得快？上下文问题：感冒了 + 吃什么药好得快？这一步主要为后面的实体识别铺路的，一是去掉无关信息，二是把一些指代词，还原成真实的实体。请结合以下历史对话信息，和用户消息，总结出一个简洁的用户消息。直接给出总结好的消息，不需要其他信息，注意适当补全句子中的主语等信息。如果和历史对话消息没有关联，直接输出用户原始消息。历史对话：用户消息：{query}总结后的用户消息：'''
对文本数据进行关键词提取，可以采用哪些算法？具体实现流程是什么样的？
致大尽微 家国天下
03-13 4187
在SQL中，COALESCE函数是一个非常有用的函数，用于从其参数列表中返回第一个非NULL值。如果所有给定的参数都是NULL，那么COALESCE函数将返回NULL。这个函数可以接受多个参数，使其在处理可能出现的NULL值时非常灵活和强大。
用通俗易懂的方式讲解：关键词提取方法总结及实现
2201_75499313的博客
01-01 5311
关键词是能够表达文档中心内容的词语，常用于计算机系统标引论文内容特征、信息检索、系统汇集以供读者检阅。关键词提取是文本挖掘领域的一个分支，是文本检索、文档比较、摘要生成、文档分类和聚类等文本挖掘研究的基础性工作。无监督关键词提取****方法和有监督关键词提取方法。1、无监督关键词提取方法不需要人工标注的语料，利用某些方法发现文本中比较重要的词作为关键词，进行关键词提取。该方法是先抽取出候选词，然后对各个候选词进行打分，然后输出topK个分值最高的候选词作为关键词。
NLP实战之关键词提取与主题模型
vivian_ll的博客
09-19 7360
中文自然语言处理分析 和拉丁语系不同，亚洲语言是不用空格分开每个有意义的词的。而当我们进行自然语言处理的时候，大部分情况下，词汇是我们对句子和文章理解的基础，因此需要一个额外的分词工具去把完整的文本中分解成粒度更细的词。 1.1 关键词提取 1.1.1 基于 TF-IDF 算法的关键词抽取 import jieba.analyse jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=()) sentence 为
LLM实战（一）| 使用LLM抽取关键词
wshzd的博客
10-11 4635
其实，我们可以对文档先进行聚类，然后再提取关键词。其次，找出哪些文档彼此最相似，假设高度相似的文档将具有相同的关键字，因此不需要为所有文档提取关键字。在Bert时代，可以使用KeyBERT（https://github.com/MaartenGr/KeyBERT）来抽取关键词，在ChatGPT时代，KeyBERT也扩展支持了LLM，本文我们将介绍使用KeyBERT的LLM功能来抽取关键词。可以随意使用提示来指定要提取的关键字类型、关键字的长度，甚至如果LLM是多语言的，还可以使用哪种语言返回关键字。
大模型系列：OpenAI使用技巧_从长文档内容做信息抽取
数智笔记
01-01 2570
GPT-3可以帮助我们从太大而无法适应上下文窗口的文档中提取关键数字、日期或其他重要内容。解决这个问题的一种方法是将文档分块并分别处理每个块，然后将它们组合成一个答案列表。然而，通过最小的调整，我们现在已经使用长文档的内容回答了6个难度不同的问题，并且有一种可重复使用的方法，可以应用于任何需要实体提取的长文档。期待看到您对此的运用！我们已经成功提取了前两个答案，而第三个答案由于每页上都出现的日期而变得混乱，尽管正确的答案也在其中。
哪个中文开源大模型在信息抽取上效果最好？附：用于提取的提示词
lqfarmer的博客
06-29 1013
发布时间：2024 年 06 月 04 日知识图谱信息抽取（IE）是 NLP 中的关键技术，它从非结构化文本中提炼出结构化信息，助力各类依赖结构化数据的应用。尽管 IE 的重要性不言而喻，但近期针对英语 IE 任务的实验显示，大型语言模型（LLMs）在如命名实体识别（NER）等子任务上达到最佳性能仍面临挑战。本文深入分析了主流中文开源 LLMs 在零样本条件下的 IE 任务表现，并展示了少样本实验的结果，以评估其能力。同时，我们还将这些模型与知名语言模型 ChatGPT 在 IE 性能上进行了比较。
评论 36
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吴秋霖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值