Transformer系列 _6 文本生成 笔记2021-06-29

最新推荐文章于 2024-09-13 18:01:57 发布
最新推荐文章于 2024-09-13 18:01:57 发布
阅读量222 收藏
点赞数
分类专栏： 笔记 文章标签： 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38038430/article/details/118338376
版权

Text Generation

在这里插入图片描述
在这里插入图片描述

怎么训练RNN

在这里插入图片描述
红色为样本，蓝色为标签
在这里插入图片描述
在这里插入图片描述
如果RNN训练莎士比亚的书，生成的文本为莎士比亚的风格。

Training a Text Generator

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
character 一百维度以下，与之前的Word不一样，英语中常用的词语10000＋，vocabulary一万维度，太高了，需要一个矩阵降维。
在这里插入图片描述
按照之前的代码训练好网络后
在这里插入图片描述

Predict the Next Char

在这里插入图片描述
在这里插入图片描述
如何选择下一个字符？
在这里插入图片描述
完全确定的，
在这里插入图片描述
随机抽样，过于随机，
在这里插入图片描述
利用temperature来控制随机性
在这里插入图片描述
在这里插入图片描述
Example
在这里插入图片描述

Summary

训练神经网络：
在这里插入图片描述
文本生成
在这里插入图片描述

qq_38038430
关注
专栏目录
人工智能_大模型007_CPU微调ChatGLM大模型_使用P-Tuning v2进行大模型微调_007_微调_002---人工智能工作笔记0142
添柴程序猿的专栏
02-23 389
这里的dev.json指的是,test_file测试数据,然后train_file也就是train.json指的是训练数据。我用的CPU所以没有添加NUM_GPUS,这个变量也是自己起名的,我用的默认的,官网提供的这个文件,然后修改的.这里注意我在/data/module建了两个文件夹,一个是train_output用来放训练后的输出模型的,现在还有langchain可以实现,扩展知识库,这个后面我们再说,我先用P-Tuning V2试试,这里我们先试着训练一下,我们用官方提供的训练数据进行训练.
人工智能_大模型006_CPU微调ChatGLM大模型_Prefix-Tuning微调原理_Prompt-Tuning/P-tuning微调原理_微调_001---人工智能工作笔记0141
添柴程序猿的专栏
02-23 576
上面是prompt-tuning 和p-tuning的区别,可以看到其实,一个就是仅仅添加训练后的向量提示词,一个就是,直接把prompt-tuning的提示词再进行使用BiLSTM和MLP进行编码,编码以后把编码后的提示词,直接融入到模型本身的参数权重中去,这样消耗算力就多.如果是一组固定的,可读的文字,或者自然语言,那么他对,结果的影响是非常大的,那么这个时候,一般用第二种 方法,softprompt,叫做连续prompt,这个就是向量了,就是向量空间优化出来的提示.
Transformer文本生成与tensorflow实现
热门推荐
linchuhai的博客
05-10 1万+
1. 引言     前面介绍了文本生成任务中的经典模型——Seq2Seq，以及一些常见的attention机制，虽然在文本生成任务中取得了相当出色的成绩，但是随着数据量的增大和语料长度的增大，RNN固有的序贯性严重阻碍了训练的速度，因此，本文将介绍另一个经典的模型——Transformer，该模型是由谷歌在2017年提出来的模型，模型完全摒弃了RNN和CNN的结构，只采用了attention的机制...
文本生成：Transformer
xunyishuai5020的博客
03-17 2734
1. 模型原理 Transform是一种基于全连接神经网络的编码器-解码器（encoder-decoder）架构实现，它由输入模块、编码器模块、解码器模型和输出模型四部分组成。其结构如下图所示： 图1 Transform模型 关于Transform的基础知识介绍，网上已有许多公开的资料。读者可自行查阅学习。本文默认大家已具备Transform相关的基础知识，文本将讨论其中值得注意的四个问题： Transform中有几种mask机制，它们是如何去除小批量样本padding操作引入的噪声的？ 自注意力机制为
【人工智能】Transformers之Pipeline（十八）：文本生成（text-generation）
最新发布
人工智能领域博客
09-13 3174
本文对transformers之pipeline的文本生成（text-generation）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的文本生成（text-generation）模型。
Transformers实战系列 之 文本生成
zenRRan的博客
04-12 6672
每天给你送来NLP技术干货！来自：ChallengeHub 作者：致Great fromutilsimport* setup_chapter()Using transformers v4.11.3 Using datasets v1.13.0 Using accelerate v0.5.1文本生成文本生成是自然语言处理中一个重要的研究领域，具有广阔的应用前景。国内外...
transformer-xl实现文本生成
weixin_45885232的博客
05-09 725
提供了一个效果较好的文本生成项目，该项目基于transformer-xl，并将代码修改为可以在tensorflow 2.x版本下运行，同时可以兼容tensorflow 1.x版本。提供了鲁迅小说数据集、唐诗数据集，可参考项目给出的说明，有针对性的训练对应的文本生成模型。 训练时，修改script文件下的.sh文件，将数据集、模型保存地址、注意力层、注意力头数改为自己想要的，然后运行train.py文件； 生成模式时，调用train中的inreference即可，input位置为输入文本位置。 项目代码： t
TRAX_transformer_abstractive_summarization_model:使用Trax和Transformer体系结构生成生成的汇总器深度学习模型
04-07
然后，该模型能够为作为输入提供的文本生成摘要（摘要摘要）。 您可以参考我以前的几个项目，这些项目涉及不同类型的摘要生成（抽取式与抽象式）。 该模型通过详细说明自己的句子，从输入文本生成摘要。 下一个令牌...
人工智能_Transformer_001_背景介绍---人工智能工作笔记0147
添柴程序猿的专栏
02-29 176
输出门查看上一个隐藏状态和当前的输入，通过sigmoid函数决定单元状态的哪个部分将输出，然后一个tanh函数处理单元状态，将其值推到-1和1之间，并将其乘以sigmoid门的输出，以决定最终的输出。更新门的值越接近1，新的候选隐藏状态对当前隐藏状态的影响越大，而更新门的值越接近0，则更多的保留前一个时间步的隐藏状态。梯度消失的问题在于，当梯度非常小的时候，它们在反向传播过程中会逐渐消失，因为每个梯度都是前一个梯度与一个小的权重乘积的结果。重置门的计算通常涉及到当前的输入和前一个时间步的隐藏状态。
人工智能_大模型070_多模态大语言模型18_AnimateDiff图生视频_AnimateAnyone姿势生视频_原生视频模型Sora_NaVIT_MagVIT---人工智能工作笔记0205
添柴程序猿的专栏
05-21 253
Transformer架构本身是一种基于自注意力机制的神经网络模型，它通过自注意力机制来捕捉输入序列中的全局依赖关系，解决了传统模型在捕捉长距离依赖关系方面的局限性。与传统的序列模型（如循环神经网络RNN和长短期记忆网络LSTM）相比，Temporal Attention模型能够更好地处理时序数据，因为它能够区分不同时间步长的重要性，而不是将所有时间步长的信息等权重地考虑进去。它不仅关注视频的局部细节，还能捕捉到视频中的整体结构和动态变化，从而生成更加丰富和真实的视频内容。
T5Transformer_text_gen:使用Google T5文本生成功能生成的镜头很少
03-17
T5Transformer_text_gen 利用Google T5文本生成功能，几乎没有文字生成功能。
CLAPS:[ICLR 2021]带有对抗性扰动的对比学习，用于条件文本生成
05-18
对抗性学习与对​​抗性扰动的条件文本生成 这是用于条件文本生成的具有对抗性扰动的对比学习的Pytorch实施（ ICLR 2021 ）： 抽象的 最近，具有Transformer体系结构的序列到序列（seq2seq）模型在各种条件文本生成任务（例如机器翻译）上都取得了卓越的性能。 但是，大多数培训都是在老师的强迫下进行的，每个步骤都使用给定的地面真相标签，而不会在培训期间暴露于错误生成的标记中，这不利于将其推广到看不见的输入上，这就是所谓的“曝光偏差”问题。 在这项工作中，我们建议通过将正对与负对进行对比来解决条件文本生成问题，从而使模型暴露于输入的各种有效或不正确的扰动下，以提高通用性。 但是，使用幼稚的对比学习框架（使用随机的非目标序列作为否定示例）来训练模型是次优的，因为它们很容易与正确的输出区分开，尤其是对于使用大文本语料库进行预训练的模型而言。 同样，生成肯定的示例需要特定于
ViT (Vision Transformer) ---- Text Generation（文本生成器）
进击的菜鸟
12-23 1301
使用RNN对文本预测 假如输入的文本是：the cat sat on the ma 那么下一个字符什么呢？ 这里采用的是many to many模型，如下: 此时模型的输出字符概率为： 如何训练RNN模型？ 如上一段英语文字，我们采用分割的方法，这里采用输入的长度为40，滑动距离为3，即从开始到第40个字符用作输入， 第41个字符用作标签数据label，如上： 输入为：Machine learning is a subset of artifici label为：a ...
【Transformers】第 5 章 ：文本生成
sikh_0529的博客
11-09 2110
在本章中，我们研究了文本生成，这是一项与我们之前遇到的 NLU 任务非常不同的任务。因此，即使只有 100 分之一或 1000 次的机会，如果我们进行数百次采样，也有很大的机会在某个时候挑选出不太可能的标记——并且在采样时选择这样的标记会严重影响生成文本的质量。不幸的是，没有普遍“最佳”的解码方法。它周围有一个高峰10-8和第二个较小的山峰10-4，随后急剧下降，只有少数令牌出现，概率介于 10-2和10-1. 看这张图，我们可以看到选择最高概率的代币的概率（孤立的柱子在10-1) 是十分之一。
一起学Hugging Face Transformers（6）- 使用Transformers 库进行文本生成（Text Generation）
一起来研究langchain和langchain-chatchat
06-30 706
文本生成（Text Generation）是自然语言处理（NLP）中的一个重要任务，它涉及从给定的输入生成连贯且有意义的文本。Hugging Face 的 Transformers 库提供了强大而易用的工具来实现文本生成任务。本文将详细介绍如何使用 Transformers 库进行文本生成，包括环境准备、加载预训练模型、进行文本生成和调优生成结果。Hugging Face 的 Transformers 库为文本生成任务提供了强大而灵活的工具。
transformer模型，文本生成任务。 self-attention结构
YI_SHU_JIA的博客
04-07 1429
大家好，好久不见，终于又有机会来学习深度学习了， 这次我们通过全球人工智能大赛算法挑战赛的赛道一来学习。2023全球人工智能技术创新大赛 - 算法挑战赛赛道一的任务是通过医疗图像的文字描述来生成医生的诊断描述。这是一个典型的文本生成任务， 因此transformer终于可以要打破bert在我心中的地位， 第一次登上历史舞台了。下图很好的展现了transformer，bert和GPT的关系。transformer包括了一个encoder和一个decoder。
基于transformer的文本生成开源项目(基于pytorch)
SZ-crystal
02-18 3120
基于transformer的文本生成问题训练pipeline 项目开源地址 main requirements python 3.6 pytorch 1.6.0+cu101 项目说明 基于transformer的文本生成问题pipeline。（基于对话数据进行闲聊模型训练和测试） 训练方式为teacher forcing（基于下三角mask实现，具体可参考loss部分代码）。 模型训练 python train.py 推理 python inference.py 训练细节参考 训练数据（LCCC_base,
transformer图像生成
07-28
- *1* [Transformer做文本生成图像的调查研究笔记](https://blog.csdn.net/air__Heaven/article/details/121612984)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值