（21-5）基于Gemma 2B模型的智能文本摘要系统：文本摘要

最新推荐文章于 2024-09-21 12:29:42 发布
最新推荐文章于 2024-09-21 12:29:42 发布
阅读量861 收藏 24
点赞数 24
分类专栏： 《NLP算法实战》 大模型从入门到实战(数据集、训练、RAG、多模态) 文章标签： 语言模型 人工智能 自然语言处理 langchain python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/asd343442/article/details/139178954
版权

9.5  文本摘要

文本摘要是自然语言处理（NLP）中的一项重要任务，旨在将长文本缩减为包含其核心信息的短文本。在本节的内容中，将详细讲解本项目实现文本摘要的过程。

9.5.1  方法和策略

在文本摘要应用中有许多可用的技术和方法，在本项目中将仅关注三种策略：Stuffing、MapReduce 和 Refine。

1. Stuffing（填充）

填充是一种抽取式摘要方法，它通过选择文本中最重要的句子或短语来创建摘要。这些句子被认为“填充”了原始文本的主要信息。具体填充方法通常依赖于特征工程，比如词频、句子位置、共引用等，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
码农三叔
关注
专栏目录
订阅专栏
（21-6-01）基于Gemma 2B模型的智能文本摘要系统：实验（1）
码农三叔
05-25 987
（1）将一个预先配置的 Hugging Face 管道封装到一个自定义类 GemmaLLM 中，这个类继承自 LangChain 的 LLM（大型语言模型）基类。@propertyprompt,@property})清理 GPU 缓存：使用 torch.no_grad() 确保在代码块中不会跟踪梯度，这对于模型推理（而不是训练）是有用的。torch.cuda.empty_cache() 清除未被引用的缓存，gc.collect() 调用垃圾回收器，这些都是为了释放内存。
#LLM入门 | langchain | RAG # 4.6_问答
weixin_45312236的博客
05-22 446
Langchain 在实现与外部数据对话的功能时需要经历下面的5个阶段，它们分别是：Document Loading->Splitting->Storage->Retrieval->Output，如下图所示：图 4.6.1 访问个人数据全流程完成存储和获取相关文档后，需将文档传递给语言模型以生成答案。流程包括提出问题、检索文档、传递文档和问题给模型、获取答案。默认将所有文档切片传入同一上下文窗口，但存在MapReduce、Refine和MapRerank等方法解决上下文窗口限制问题。
让天下没有难Tuning的大模型-PEFT（参数效率微调）技术简介
人工智能曾小健
06-20 445
让天下没有难Tuning的大模型-PEFT技术简介》最近，深度学习的研究中出现了许多大型预训练模型，例如GPT-3、BERT等，这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中，ChatGPT模型因为在对话生成方面的表现而备受瞩目，成为了自然语言处理领域的热门研究方向。然而，这些大型预训练模型的训练成本非常高昂，需要庞大的计算资源和大量的数据，一般人难以承受。这也导致了一些研究人员难以重复和验证先前的研究成果。
（21-2）基于Gemma 2B模型的智能文本摘要系统：系统设置
码农三叔
05-23 760
（3）使用transformers库中的pipeline生成一个技术性的摘要信息，专注于事实、数字和使用的战略，并以章节、非个人化和使用项目符号的方式组织内容。在项目开始之初需要配置好环境，准备好项目所用到的库、数据和Gemma模型，并通过Hugging Face的transformers库创建一个文本生成的管道，配置管道的相关参数如最大新令牌数和精度控制，以优化模型性能和输出。上述操作步骤为后续的文本生成任务做好了准备，包括加载数据集、确保有适当的权限访问所需的模型，以及指定将要使用的模型。
（21-7-02）基于Gemma 2B模型的智能文本摘要系统：微调（2）
码农三叔
05-27 922
（11）评估微调后的模型相比于基础模型在特定任务（生成简短摘要）上的表现，这样可以直观地看到微调是否对模型的性能产生了积极影响，从而决定是否在实际应用中部署微调后的模型。执行后会输出下面的摘要信息，通过比较基础模型和微调模型生成的摘要，可以评估微调是否提高了模型在生成摘要任务上的性能，这有助于确定微调模型是否值得在特定任务中部署。通过使用参数高效微调和量化技术，可以在资源受限的环境中进行有效的训练，同时保持模型的性能，这种微调方法特别适用于希望在特定数据集上改进模型性能的情况。
（21-1）基于Gemma 2B模型的智能文本摘要系统：背景介绍+项目介绍
码农三叔
05-23 428
在当今信息爆炸的时代，人们每天都要面对海量的文本信息。无论是学术论文、新闻报道、在线文章还是企业报告，内容的体量都在不断增长。然而，时间是宝贵的，用户往往希望能够快速地获取文本的核心内容，而不是淹没在细节的海洋中。因此，文本摘要系统的需求应运而生，它旨在自动化地从原始文本中提取关键信息，为用户提供简洁、准确的摘要。文本摘要系统的核心价值在于其能够显著提高信息的可访问性和效率。对于专业人士，如研究人员、分析师和决策者，摘要系统可以节省时间，帮助他们快速筛选和理解大量的专业资料。
（21-7-01）基于Gemma 2B模型的智能文本摘要系统：微调（1）
码农三叔
05-26 1417
参数高效微调（Parameter-Efficient Fine-Tuning，简称PEFT）是一类用于调整预训练模型以适应特定任务的技术，不需要对整个模型的参数进行重新训练。（3）配置一个用于因果语言建模（Causal Language Modeling，简称CLM）的预训练模型，是使用低秩适配（LoRA）和位和字节（BitsAndBytes，简称BnB）量化技术进行参数高效微调的Gemma模型。上述格式化代码非常重要，因为它确保了模型接收到的输入是结构化的，并且按照模型预期的方式引导模型生成输出。
（21-6-02）基于Gemma 2B模型的智能文本摘要系统：实验（2）
码农三叔
05-25 1110
使用 LangChain中的函数load_summarize_chain创建一个 MapReduce 摘要链，并将参数verbose设置为 True。通过设置参数verbose=True，可以获得有关摘要链执行过程的更多信息，这对于调试和优化摘要过程非常有用。额外的输出可以帮助我们了解模型是如何逐步处理文档的各个部分，以及它是如何生成最终摘要的。TLDR////////省略中间输出部分。
【AI大模型】Kimi API大模型接口实现
qq_25888559的博客
09-15 1502
Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。
BART&BERT
GDHBFTGGG的博客
09-15 1240
model_name = "facebook/bart-large-cnn" # 选择一个BART模型，这里使用CNN新闻摘要任务的预训练模型。尽管BART和BERT在设计和应用上有所不同，但它们都利用了Transformer的强大能力来处理自然语言，并在NLP领域取得了显著的成果。model_name = "bert-base-uncased" # 选择一个BERT模型。model.eval() # 将模型设置为评估模式。# 加载预训练的BERT模型和分词器。# 加载预训练的BART模型和分词器。
使用c#制作一个小型桌面程序
qq_44691564的博客
09-14 2250
创建.NET Framework新项目，将之前生成的dll放在Demo文件夹的bin ->debug或是 release中（看你自己用的什么模式），创建完成后 系统会自动生成一些文件，其中 pch.cpp 先不要修改，pch.h中先导入自己需要用到的库，下面是我的代码。布局完了之后会自动生成Form1.Designer.cs 的窗口设计代码，点击控件按F4 还可以修改他们的属性。完成之后点击生成 就可以在bin中出现的你的.exe文件咯，是不是很简单呀~[狗头]我们还需要一个入口主程序。
开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群活动中的应用与时机选择
专注MarTech应用研究与实施方案
09-17 1096
本文探讨了开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群经济中的重要性，着重分析了如何借助该小程序适时举办大型活动以维持和引爆社群活跃度。通过对活动时机选择的研究，强调了针对社群用户量身定制活动时机的必要性，以赢得用户的高度参与。
数据爬虫中遇到验证码的解决方法
sheji888的专栏
09-17 1499
数据爬虫中遇到验证码是一个复杂而常见的问题，需要综合考虑多种因素并采取合适的解决策略。通过避免触发验证码、手动输入验证码、使用验证码识别技术、绕过验证码机制以及采用分布式爬虫和代理IP等方法，可以在一定程度上提高爬虫的稳定性和效率。然而，需要注意的是，爬虫的使用必须遵守相关法律法规和网站爬虫协议的要求，确保数据抓取活动的合法性和合规性。
文档内容识别系统源码分享
xuehaishijue的博客
09-17 1755
数据集信息展示在当今信息爆炸的时代，文档内容识别系统的有效性和准确性愈发重要。为了提升YOLOv8在文档内容识别任务中的表现，我们采用了名为“FULL 2”的数据集进行训练和评估。该数据集专为文档图像的多样性和复杂性而设计，涵盖了多种类别的文本元素，使其成为优化深度学习模型的理想选择。
介绍一下常用的激活函数？
GamBleout的博客
09-19 977
死神经元：当神经网络中的某些神经元在训练过程中始终不被激活，即其输出值始终接近于零，这些神经元就被称为“死神经元”。与Sigmoid函数类似，也存在梯度消失问题，但相对于Sigmoid函数，其输出范围更大，有利于梯度的传播。Leaky ReLU是ReLU的一个变体，在输入为负时给予一个小的非零斜率，避免了“死神经元”问题。在正区间内解决了梯度消失问题，但在负区间内梯度为0，可能导致“死神经元”问题。将一组数值转换为概率分布，即所有输出的和为1，且每个输出都在(0,1)之间。当输入为负时，输出为0。
2024.9.16 day 1 pytorch安装及环境配置
m0_58285219的博客
09-16 662
pytorch安装及环境配置
IT行业中的技术趋势与未来展望
最新发布
2301_78944833的博客
09-21 1200
IT行业正在经历一场前所未有的技术变革，各种新兴技术相互融合，推动着企业和社会的数字化转型。从云计算到人工智能，从物联网到区块链，这些技术趋势不仅改变了IT行业的面貌，也塑造了未来世界的形态。无论是IT从业者还是企业管理者，紧跟这些技术趋势，将在未来的竞争中占据有利位置。
探索未来智能：Moonshot AI 引领AI新纪元——M1超级模型
BuluAI的博客
09-19 899
M1超级模型的诞生是对这一趋势的直接响应，它代表了Moonshot AI在AI领域的最新研究成果和对未来智能的深刻洞察。一个在线教育平台集成了M1超级模型，通过分析学生的学习行为和成绩，为每位学生提供定制化的学习路径和实时反馈，显著提高了学习效率和成绩。在教育领域，M1超级模型能够提供个性化的学习支持，通过分析学生的学习习惯和理解能力，提供定制化的学习材料，促进学生在关键领域的进步。一家医院利用M1超级模型分析患者的医疗影像和病历，提高了诊断的准确性，减少了误诊率，并为医生提供了更全面的治疗建议。
AIGC（Gemma，vivo）大模型研究
06-01
AIGC（Gemma，vivo）是一个基于深度学习的自然语言处理大模型，由中国科学院自动化研究所和vivo联合研发。该模型采用了全新的模型架构和训练方法，在多项中英文自然语言处理任务中取得了领先的性能。该模型具有超过100亿个参数，可以实现更加准确和自然的对话、文本生成等任务，为人机交互和智能客服等领域提供了强有力的支撑。 该模型的研究涉及了深度学习、自然语言处理、计算机视觉等多个领域，同时也借鉴了一些神经科学的知识。在模型训练上，研究团队采用了一种基于控制变量法的训练方法，通过对各个变量进行控制，最大程度地提升了模型的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农三叔

感谢鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值