基于BART的长文本生成demo

最新推荐文章于 2024-06-24 10:02:25 发布
最新推荐文章于 2024-06-24 10:02:25 发布
阅读量2.7k 收藏 9
点赞数 1
分类专栏： 程序 文章标签： python 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tangg555/article/details/124349644
版权 
这是一个使用pytorch，pytorch_lightning框架简单基于NLG领域预训练模型BART进行故事生成的demo。BART预训练模型来源于Hugginface: bart-base.

代码可见：
github: story-generation-demohttps://github.com/tangg555/story-generation-demo或者
gitee: story-generation-demohttps://gitee.com/travis-tang/story-generation-demo

运行程序的前置条件:
- Python 3 or Anaconda (mine is 3.8)
- Pytorch 
- transformers (a package for huggingface)
- pytorch-lightning (a package)
彩虹下的天桥
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习系列30：BART模型
kittyzc的博客
06-10 3816
BART（Bidirectional and Auto-Regressive Transformers，双向自回归变压器）用于多模态中将文字转为图像。 参考网上开源的中文bart地址：https://huggingface.co/uer/bart-base-chinese-cluecorpussmall，下面是个使用例子 模型简要描述如下： BART模型架构与transformer相同，但参考GPT模型，将原有ReLU激活函数变成了GeLUs函数。 在预训练时，首先使用多种噪声对原始文本进行破坏，然后通过
Longformer中文长文本摘要生成
daotianweng的博客
12-15 5342
1 Longformer 之前做了BART中文摘要生成，但是因为项目需求是中文长文本摘要生成，因此在此采用Longformer完成中文摘要生成（实际用的是LED，Longformer基础上添加了解码器），11G显存长度可以到8K，非常友好。短文本上虽然比不上BART，不过这并不重要。 1.1 Longformer结构 LED结构与BART类似，只不过多了global attention，因为LED没有中文预训练模型，但是我们有BART呀，这也给出了BART权重转到LED的脚本，因此这次我们就采用BAR
AI界又放大招？长文本新霸主“橙篇”来了
最新发布
木易巷的小博客
06-24 1619
刚好前段时间，在2024年百度移动生态万象大会上，百度文库推出了一款综合性AI应用——"橙篇"，它能够处理大量、多格式的长文本，支持长文生成、深度编辑和多模态创作，可以极大地提升创作者的创作效率和体验。它能够一次性生成最多10万字的长文，并且支持多种格式的文件输入，包括文本、图片等，这为用户在撰写专业领域的研究报告时提供了极大的便利。说到长文本，木易巷突然想起来大学毕业时写论文的苦恼，所以想要使用“橙篇”创作一篇2万字的论文，题目为《基于Spark的音乐推荐系统的设计与实现》，看看二者的回答怎么样。
【学习笔记】开源中文对话预训练模型调研总结
记录学习^_^，欢迎交流~
04-04 467
开源中文大规模对话预训练模型调研总结
BERT实践详解
11-17 2233
BERT特点 只有encoder没有decoder的双向语言表示预训练模型，可以接各种下游任务，它的输出只是文本表示，所以不能使用固定的decoder。 BERT是百层左右的深度神经网络，才能把各种语言学的特征提取出来。BERT面世之前，NLP领域的神经网络基本只有几层，Transformer架构出来之后才有可能将NLP网络推向几十至上百层。浅层是分析语法，语法层级的特征，深层进入语义的范畴。 动态词向量。在Word2Vec，GloVe的年代，词向量都是静态的，一旦训练之后词向量就固定不变了，但是这就
文本生成模型，实现了包括LLaMA，ChatGLM，BLOOM，GPT2，BART，T5等模型的训练和预测，开箱即用
09-15
本项目实现了多个热门的文本生成模型，包括LLaMA、ChatGLM、BLOOM、GPT2、Seq2Seq、BART和T5，以及UDA（Unsupervised Data Augmentation），提供了一站式的训练和预测功能，用户无需复杂的配置即可直接使用。...
bart-cs-demo
03-28
bart-cs-demo
bart2.py 文本分析脚本
06-28
本python脚本可以分析对应文件夹的全部文本文件(需在脚本指定文件格式或者修改为不指定),包括文件夹有文件夹的情况,通过正则表达式过滤出需要的部分,再调用RE库来得到我们需要的部分,然后输出到D盘(可修改).......
TextBox:TextBox是用于构建文本生成系统的开源库
03-25
TextBox是基于Python和PyTorch开发的，用于在统一，全面，高效的框架中复制和开发文本生成算法，以用于研究目的。 我们的库包含21种文本生成算法，涵盖两项主要任务： 无条件（无输入）生成 有条件的（Seq2Seq）...
bart-0.4.04_insidezsn_reconstruction_matlabGUI_bart_
10-02
标题中的“bart-0.4.04_insidezsn_reconstruction_matlabGUI_bart_”表明这是一个关于BART（Berkeley Advanced Reconstruction Toolbox）的软件版本0.4.04，其中包含了与InsideZSN（可能是指Inside Zero-Suppression...
对抗性文本生成（来自于ACL 2020）
05-06
自回归文本生成模型通常侧重于局部的流畅性，在长文本生成过程中可能导致语义不一致。此外，自动生成具有相似语义的单词是具有挑战性的，而且手工编写的语言规则很难应用。
BART模型
qq_15821487的博客
08-18 1866
文本填充：采样多个文本段，文本段长度取决于泊松分布 (λ = 3)。用单个掩码 token 替换每个文本段。长度为 0 的文本段对应掩码 token 的插入。 句子排列变换：按句号将文档分割成多个句子，然后以随机顺序打乱这些句子。 文档旋转：随机均匀地选择 token，旋转文档使文档从该 token 开始。该任务的目的是训练模型识别文档开头。 BART模型其实就是transformer的架构，只是有不同的预训练构造方式而已 ...
【文本生成】评价指标：BARTScore
想学nlp的kayla
10-11 3748
这篇论文出自2021 NeurIPS，通讯作者是卡耐基梅隆大学博士后刘鹏飞（prompt综述作者），论文全名：《BARTSCORE: Evaluating Generated Text as Text Generation》 BARTSCORE采用无监督学习 对不同方面 (e.g. informativeness, fluency, or factuality) 进行评估。 在本文中，我们将生成文本的评估公式化为文本生成问题，通过从其他文本输入和输出生成或生成其他文本输入和输出的概率的概率直接评估文本。这与
解决Huggingface被墙下载模型的问题
weixin_43303286的博客
11-10 6489
参考：如何快速下载huggingface模型——全方法总结 - padeoe的文章 - 知乎最近几月huggingface彻底无法访问，之前下载模型都是开梯子自己下载到本地再上传到服务器，这样实在比较麻烦，因此查资料之后得到解决方案：使用huggingface镜像站。
【自然语言处理】【文本生成】使用Transformers中的BART进行文本摘要
bqw的博客
10-06 9401
本文是一个基于Transformers的文本生成代码示例。该示例中使用中文版本的BART模型，数据则使用NLPCC2017的中文摘要数据集。
BART 文本摘要示例
qq_48566899的博客
11-22 3024
采用BART进行文本摘要 首先从transformers library导入BartTokenizer进行分词， 以及BartForConditionalGeneration进行文本摘要 from transformers import BartTokenizer, BartForConditionalGeneration 这里，bart-large-cnn 是预训练的BART模型，模型大小约为1.6G（下载时间可能较慢，需耐心等待进度条）. model = BartForConditionalGene
【自然语言处理】【文本生成】BART：用于自然语言生成、翻译和理解的降噪Sequence-to-Sequence预训练
bqw的博客
09-04 2176
​ 自监督方法在广泛的自然语言处理任务中取得了巨大的成功。大多数成功的方法都是的变体，其是一种降噪自编码器，通过重构随机遮蔽的单词进行训练。最近的研究展示了改变遮蔽tokens分布、被预测遮蔽token的顺序、以及替换遮蔽token的可用上下文的有效性。然而，这些方法都专注在特定类型的任务，限制了它们的适用性。​ 在本文中提出了BARTBART，其合并了双向和自回归。BARTBART是一个使用模型构建的降噪自编码器，其能够应用在广泛的下游任务。预训练有两个阶段：(1) 使用任意噪音函数破坏文本；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值