零基础入门一文彻底掌握自然语言处理NLP中文分词、词性标注、关键词提取和文本摘要，包括；ChatGLM实战文本信息抽取、T5 模型完成新闻摘要任务、LLM大模型在文本摘要与提取中实现信息处理与压缩

最新推荐文章于 2024-07-10 12:51:42 发布
最新推荐文章于 2024-07-10 12:51:42 发布
阅读量817 收藏 1
点赞数 15
分类专栏： 机器人智慧之心 文章标签： NLP 自然语言处理 词性标注 文本摘要 ChatGLM LLM 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014374009/article/details/135936838
版权
本文详细介绍了自然语言处理（NLP）中的中文分词、词性标注、关键词提取和文本摘要的基本概念和方法。通过实例演示了ChatGLM在文本信息抽取、T5模型完成新闻摘要任务以及LLM大模型在文本摘要中的应用，同时探讨了评估模型的ROUGE指标。文章适合初学者入门，涉及了Luhn、TextRank和LSA等文本总结模型，并提供了代码示例和未来发展趋势分析。
摘要由CSDN通过智能技术生成

零基础入门一文彻底掌握自然语言处理NLP中文分词、词性标注、关键词提取和文本摘要，包括；ChatGLM实战文本信息抽取、T5 模型完成新闻摘要任务、LLM大模型在文本摘要与提取中实现信息处理与压缩，详细的实现步骤和原理文章有点长，需要慢慢看，包含完整的图文和代码。

在这里插入图片描述

在这里插入图片描述

理论知识：

在这篇文章中，我们将介绍文本总结的基础知识，生成自动摘要的不同方法，文本总结的一些现实应用，最后，我们将在ROUGE的帮助下比较各种文本总结模型，ROUGE是一套用于评估自动文本总结的指标，在Python中。

什么是文本归纳？
文本总结是将一篇长的文本，如文章、散文或研究论文，缩短为一个摘要的过程，通过保留关键信息和舍弃不重要的部分来传达文本的总体意义。当涉及到生成自动摘要时，有两种广泛的方法，即：

抽取式总结
抽象式总结

抽取式总结
提取式总结模型将几个相关

了解本专栏 订阅专栏 解锁全文 超级会员免费看
代码讲故事
关注
专栏目录
订阅专栏
如何对热词进行提取
seaboat——a free boat on the sea.（公众号：远洋号）
05-15 6252
热词简单地理解热词就是某文档中出现频率高的且非无用的词语。朴素的想法文档由若干词（term）组成，那么很朴素的想法就可以认为文档中某个term出现的次数越多就越可能是高频热词。这样的统计策略就叫Term Frequency，即TF。干扰项 标点符号，一般标点符号没有价值，去掉。 停词，停词没有特别的意义，一般也要去掉，比如“是”，“的”，”the”,”that”,”this”等。 词权重现在可能还存
ChatGLM实战 - 文本信息抽取
海贼王的博客
05-02 9027
本文对ChatGLM-6B模型进行简单尝试，稍许改造即能满足文本抽取场景的使用，使用成本低于chatgpt，支持本地部署，单卡成本低于openai。
Information extraction(keywords extraction,关键词)—对LLM关键词抽取的实验分析，细节理解和原文阅读：Comparative Study of Domain
小小帅
07-05 997
关键词在缩小人类理解与机器处理文本数据之间的差距方面发挥着至关重要的作用。关键词是丰富数据的必要条件，因为它们是详细注释的基础，而详细注释可提供对基础数据更深入的洞察力。关键词/领域驱动的术语提取是自然语言处理中的一项关键任务，有助于信息检索、文档摘要和内容分类。本综述重点介绍关键词抽取方法，强调三大大型语言模型（LLM）的使用： Llama2-7B、GPT-3.5 和 Falcon-7B。我们使用了一个定制的 Python 软件包来连接这些 LLM，从而简化了关键词提取。
国产chatgpt：基于chatGLM微调nlp信息抽取任务
争渡的博客
06-26 7253
零样本和少样本是机器学习领域中常见的两个概念，特别是在图像识别、自然语言处理等领域中应用较为广泛。所谓的零样本学习是指模型在没有任何样本数据的情况下进行预测；而少样本学习则是指模型只有很少的样本数据时进行预测。schema = {
浅尝prompt咒语设计：one-shot微调chatglm-6b实践信息抽取
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
03-26 6887
近期以chatgpt等文生成LLMS爆火，国内也逐渐开源了中文版的chatgpt，本文以清华大学开源的6b的chatglm为例，实践one-shot微调，设计prompt咒语在信息抽取领域的实验效果。本文通过one-shot微调chatglm-6b在信息抽取领域上的实验，输出效果还可以，当然如果有资源微调更大参数量的LLMS。
Meta普林斯顿提出LLM上下文终极解决方案！让模型化身自主智能体，自行读取上下文节点树...
zenRRan的博客
10-23 120
来自：新智元->辅导界的小米带你冲刺ACL2024【导读】LeCun转发了Meta团队提出的一种非常特别的处理LLM上下文的方案：通过把上下文内容处理为摘要节点树，让模型自行读取。这样就能非常显著地提升模型的上下文能力。到底什么才是LLM长上下文模型的终极解决方案？最近由普林斯顿大学和Meta AI的研究者提出了一种解决方案，将LLM视为一个交互式智能体，让它决定如何通过迭代提示来读取文本。...
基于LLM大模型的结构化数据批量提取
新缸中之脑
01-16 2378
在当今世界，越来越多的组织致力于数据驱动的决策。然而，他们通常面临着从非结构化文本数据（例如客户评论或反馈）中提取有价值的见解的挑战。这篇文章是为想要使用非结构化数据获得有用见解的数据科学家、分析师和决策者量身定制的。我们探索大型语言模型 (LLM) 的批量用例，重点关注非结构化文本到结构化数据的转换。通过利用这种方法，企业可以利用结构化信息丰富其数据库，并提高对非结构化数据源的理解。为了说明此类用例，我们将深入研究客户反馈分析的示例。这个提供了开始使用此类 LLM 批量用例的常规设置。
MinIO 和 Apache Tika：文本提取模式
MinIO
02-16 1227
要为此任务创建LLM友好的文本数据集，您可以将所有这些文档收集到配置了类似 Webhook 的 MinIO 存储桶中，并将每个文档提取的文本传递到微调/训练集的数据帧中。之后，我们需要在 MinIO 存储桶上配置 webhook，以提醒此服务器新对象的到来（换句话说，存储桶的 PUT 事件）。现在，剩下的就是在 MinIO 服务器上为存储桶配置 Webhook，以便存储桶中的任何 PUT 事件（也称为添加的新对象）都将触发对提取终端节点的调用。现在，我们准备试用我们的文本提取服务器。
NLP入门+实战必读：一文教会你最常见的10种自然语言处理技术(附代码).pdf
11-24
自然语言处理（NLP）是计算机科学、人工智能以及语言学领域中的一门交叉学科，它涉及到计算机与人类（自然）语言的相互作用。NLP的目标是使计算机能够理解、解释和产生人类语言。近年来，NLP技术的发展突飞猛进，...
NLP学习笔记 01 分词、词性标注和关键词提取
NgCafai的博客
12-17 3104
1.1 准确分词part1 提高分词准确性： 加载自定义词典 使用正则表达式 在hanlp中加入自定义词典，首先在/ hanlp / data / dictionary / custom / 目录下，创建词典（txt格式），每一行代表一个单词，格式遵从[单词] [词性A] [A的频次] [词性B] [B的频次] ... 如果不填词性则表示采用词典的默认词性。 在统计分词中，并不保证自定义词典中...
一文了解知识图谱能做什么、本文含Jiagu自然语言处理工具试用、知识图谱实战。(1)
2401_84166306的博客
04-28 1204
jiagu.load_userdict([‘思知机器人’])text = ‘’’该研究主持者之一、波士顿大学地球与环境科学系博士陈池（音）表示，“尽管中国和印度国土面积仅占全球陆地的9%，但两国为这一绿化过程贡献超过三分之一。考虑到人口过多的国家一般存在对土地过度利用的问题，这个发现令人吃惊。NASA埃姆斯研究中心的科学家拉玛·内曼尼（Rama Nemani）说，“这一长期数据能让我们深入分析地表绿化背后的影响因素。我们一开始以为，植被增加是由于更多二氧化碳排放，导致气候更加温暖、潮湿，适宜生长。
《自然语言处理实战入门》 第三章 ：中文分词原理及相关组件简介 ----汉语分词领域主要分词算法、组件、服务(中)
shiter编写程序的艺术
10-09 1355
在深度学习相关算法应用到自然语言处理领域之前，基于统计模型的方法是NLP相关算法的主流，在一些应用中如：垃圾邮件过滤中取得了成功（分词后使用贝叶斯分类）。统计模型不能充分捕捉语境或反语等细微的语言要点，而且可能忽略词语间的连续性和相互关系。 目前深度学习在自然语言处理包括：语义情感分析，自动摘要，问答机器人，知识图谱等场景中有了非常广泛的应用，取得了不错的效果。
学习实践ChatGLM-6B（部署+运行+微调）
热门推荐
LZL2020LZL的博客
04-07 1万+
该模型基于 General Language Model (GLM) 架构，具有 62 亿参数。注：结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B可以实现的能力这是一个对话机器人，所以基本的问答，系统都支持。自我认知提纲写作文案写作邮件助手信息抽取角色扮演评论比较旅游向导。
LLM实战（一）| 使用LLM抽取关键词
wshzd的博客
10-11 2883
其实，我们可以对文档先进行聚类，然后再提取关键词。其次，找出哪些文档彼此最相似，假设高度相似的文档将具有相同的关键字，因此不需要为所有文档提取关键字。在Bert时代，可以使用KeyBERT（https://github.com/MaartenGr/KeyBERT）来抽取关键词，在ChatGPT时代，KeyBERT也扩展支持了LLM，本文我们将介绍使用KeyBERT的LLM功能来抽取关键词。可以随意使用提示来指定要提取的关键字类型、关键字的长度，甚至如果LLM是多语言的，还可以使用哪种语言返回关键字。
ChatGLM多轮对话微调-多轮对话训练数据的自动生成（标注）
06-02 6143
通常使用大模型进行业务数据微调的时候，需要对历史对话数据进行细粒度的整理，比如：1-3轮对话数据的微调，以便模型能够学会多轮对话。这个时候需要对输入的数据进行数据增强，数据的方法很多，但个人认为对于样本比较少的对话，最有效的方式应该是人工进行标注，即人工写出输入数据prompt的各种可能的语义相似的样本来(根据对数据增强方式的理解，如：释义、采样和加噪)，有人说数据增强的方式怎么做也无法与人工标注的效果相比，只适合于写论文，这里不做评价和扩展。仅针对多轮对话进行1-3轮的对话数据自动标注说明。
IE(关键词)—基于LLM和后处理步骤生成关键词，细节理解和原文阅读：LLM-TAKE: Theme-Aware Keyword Extraction Using Large Language Mod
最新发布
小小帅
07-10 1390
关键词提取是自然语言处理的核心任务之一。传统的提取模型由于注意力集中时间短，很难总结出相距甚远的单词和句子之间的关系。这反过来又使它们无法用于生成从整个文本的上下文推断出的关键词。在本文中，我们将探索使用大型语言模型（LLM）来生成根据项目文本元数据推断出的项目关键词。我们的建模框架包括几个阶段，通过避免输出无信息或敏感的关键词，减少 LLM 中常见的幻觉，从而对结果进行细粒度处理。我们将基于 LLM 的框架称为主题感知关键词提取（LLM-TAKE）。
使用生成 AI 实现准确的新闻摘要
shadowcz007的博客
06-23 436
shadow这篇文章介绍了作者AlessandroAlviani 的实践经验，非常有参考价值。指令冗余，多步引导，是目前提高LLM输出质量的方法之一。Towards Accurate Quote-Aware Summarization of News using Generative AIAlessandroAlvianigenerative-ai-newsroom.com/towards-a...
自然语言处理入门：正则表达式、文本预处理与NLP基础操作
"07第三章（4）：自然语言处理入门" 在自然语言处理（NLP）领域，本文档主要关注自然语言处理的基础知识。它旨在帮助初学者了解NLP的基本工作原理，通过一系列实际操作来熟悉这个领域。文档提到了在前两个章节中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

代码讲故事

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值