关于Transformers库预训练模型输入的一些细节问题

最新推荐文章于 2023-07-05 20:31:15 发布
最新推荐文章于 2023-07-05 20:31:15 发布
阅读量850 收藏 1
点赞数 1
分类专栏： 机器学习 深度学习 文章标签： 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q506610466/article/details/124163980
版权

输入是否需要添加开始标志[bos]、bos等特殊标志？

结论：

开始标志[bos]不需要手动添加，模型自动帮你添加，结束标志[eos]必须添加

具体原因可以往下看

1.输入是否需要添加开始标志[bos]、bos等特殊标志？

在RNN的时代，对于Seq2Seq模型，我们必不可少的要对数据进行处理添加 开始标志[ bos ]和 结束标志[ eos ],这样做的目的是在解码阶段模型进行自回归语言模型时，模型可以收到一个结束标志[ eos ]，并且解码的输入开始标志[ bos ]，以确保模型不看到第一个真实的词。
比如，我们输入一句话： 你 是 谁 ？
首先把它处理为如下格式： [ bos ] 你 是 谁 ？ [ e o s]
这样的认知和习惯被我们沿用到现在。
但是 Transformer库提供的预训练模型需要你手动进行这样的操作吗？

2.以Bart模型为例

我们在 源码的 forward部分的第一行 就发现了这一的代码
在这里插入图片描述
继续点击去:
在这里插入图片描述
我们会发现，我们可以不用 传入 decoder_input_ids这个参数，模型会帮你自动生成，它的来源 是 labels的向右移动 并在开头添加 开始标志，在这里开始标志模型是下标为2

手动测试下这个方法
在这里插入图片描述
果然模型为我们自动添加了开始标志。
所以我们在进行数据处理时候，不用手动添加 开始标志，否则会造成 开始标志的重复，影响模型的预测。
值得注意的 我们要添加 结束标志 [ e o s ] ，模型并不会自动添加，不添加的话会导致在解码时，不知道什么才能结束。

一如年少模样丶
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Transformers - 提供了数以千计的预训练模型
01-12
Transformers 提供了数以千计的预训练模型，支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。 Transformers 提供了便于快速下载和使用的API，让你可以把预训练模型用在给定文本、在你的数据集上微调然后通过 model hub 与社区共享。同时，每个定义的 Python 模块均完全独立，方便修改和快速研究实验。 Transformers 支持三个最热门的深度学习库： Jax, PyTorch 以及 TensorFlow — 并与之无缝整合。你可以直接使用一个框架训练你的模型然后用另一个加载和推理
基于torch transformers 直接加载bert预训练模型计算句子相似度
02-05
基于torch transformers 直接加载bert预训练模型计算句子相似度
RoBERTa中文预训练模型.zip
07-01
RoBERTa中文预训练模型 概述 中文预训练RoBERTa模型 RoBERTa是BERT的改进版，通过改进训练任务和数据生成方式、训练更久、使用更大批次、使用更多数据等获得了State of The Art的效果；可以用Bert直接加载。 本项目是用TensorFlow实现了在大规模中文上RoBERTa的预训练，也会提供PyTorch的预训练模型和加载方式。 中文预训练RoBERTa模型-下载 6层RoBERTa体验版 RoBERTa-zh-Layer6: Google Drive 或 百度网盘，TensorFlow版本，Bert 直接加载, 大小为200M 推荐 RoBERTa-zh-Large 通过验证 RoBERTa-zh-Large: Google Drive 或 百度网盘 ，TensorFlow版本，Bert 直接加载 RoBERTa-zh-Large: Google Drive 或 百度网盘 ，PyTorch版本，Bert的PyTorch版直接加载 RoBERTa 24/12层版训练数据：30G原始文本，近3亿个句子，100亿个中文字(token)，产生了2.5亿个训练数据(instance)；覆盖新闻、社区问答、多个百科数据等； 本项目与中文预训练24层XLNet模型 XLNet_zh项目，使用相同的训练数据。 RoBERTa_zh_L12: Google Drive 或 百度网盘 TensorFlow版本，Bert 直接加载 RoBERTa_zh_L12: Google Drive 或百度网盘 PyTorch版本，Bert的PyTorch版直接加载 Roberta_l24_zh_base TensorFlow版本，Bert 直接加载 24层base版训练数据：10G文本，包含新闻、社区问答、多个百科数据等 什么是RoBERTa: 一种强大的用于预训练自然语言处理（NLP）系统的优化方法，改进了Transformers或BERT的双向编码器表示形式，这是Google在2018年发布的自监督方法。 RoBERTa在广泛使用的NLP基准通用语言理解评估（GLUE）上产生最先进的结果。 该模型在MNLI，QNLI，RTE，STS-B和RACE任务上提供了最先进的性能，并在GLUE基准上提供了可观的性能改进。 RoBERTa得分88.5，在GLUE排行榜上排名第一，与之前的XLNet-Large的表现相当。 效果测试与对比 Performance 互联网新闻情感分析：CCF-Sentiment-Analysis 模型 线上F1 BERT 80.3 Bert-wwm-ext 80.5 XLNet 79.6 Roberta-mid 80.5 Roberta-large (max_seq_length=512, split_num=1) 81.25 注：数据来源于guoday的开源项目；数据集和任务介绍见：CCF互联网新闻情感分析 自然语言推断：XNLI 模型 开发集 测试集 BERT 77.8 (77.4) 77.8 (77.5) ERNIE 79.7 (79.4) 78.6 (78.2) BERT-wwm 79.0 (78.4) 78.2 (78.0) BERT-wwm-ext 79.4 (78.6) 78.7 (78.3) XLNet 79.2 78.7 RoBERTa-zh-base 79.8 78.8 RoBERTa-zh-Large 80.2 (80.0) 79.9 (79.5) 注：RoBERTa_l24_zh，只跑了两次，Performance可能还会提升; BERT-wwm-ext来自于这里；XLNet来自于这里; RoBERTa-zh-base，指12层RoBERTa中文模型 问题匹配语任务：LCQMC(Sentence Pair Matching) 模型 开发集(Dev) 测试集(Test) BERT 89.4(88.4) 86.9(86.4) ERNIE 89.8 (89.6) 87.2 (87.0) BERT-wwm 89.4 (89.2) 87.0 (86.8) BERT-wwm-ext - - RoBERTa-zh-base 88.7 87.0 RoBERTa-zh-Large 89.9(89.6) 87.2(86.7) RoBERTa-zh-Large(20w_steps) 89.7 87.0 注：RoBERTa_l24_zh，只跑了两次，Performance可能还会提升。保持训练轮次和论文一致： 阅读理解测试 目前阅读理解类问题bert和roberta最优参数均为epoch2, batch=32, lr=3e-5, warmup=0.1 cmrc20
中文预训练ALBERT模型.zip
07-01
中文预训练ALBERT模型 概述 中文语料上预训练ALBERT模型：参数更少，效果更好。预训练小模型也能拿下13项NLP任务，ALBERT三大改造登顶GLUE基准、 一键运行10个数据集、9个基线模型、不同任务上模型效果的详细对比，见中文语言理解基准测评 CLUE benchmark 一键运行CLUE中文任务：6个中文分类或句子对任务（新） 使用方式： 1、克隆项目 git clone https://github.com/brightmart/albert_zh.git 2、运行一键运行脚本(GPU方式): 会自动下载模型和所有任务数据并开始运行。 bash run_classifier_clue.sh 执行该一键运行脚本将会自动下载所有任务数据，并为所有任务找到最优模型，然后测试得到提交结果 模型下载 Download Pre-trained Models of Chinese 1、albert_tiny_zh, albert_tiny_zh(训练更久，累积学习20亿个样本)，文件大小16M、参数为4M 训练和推理预测速度提升约10倍，精度基本保留，模型大小为bert的1/25；语义相似度数据集LCQMC测试集上达到85.4%，相比bert_base仅下降1.5个点。 lcqmc训练使用如下参数: --max_seq_length=128 --train_batch_size=64 --learning_rate=1e-4 --num_train_epochs=5 albert_tiny使用同样的大规模中文语料数据，层数仅为4层、hidden size等向量维度大幅减少; 尝试使用如下学习率来获得更好效果：{2e-5, 6e-5, 1e-4} 【使用场景】任务相对比较简单一些或实时性要求高的任务，如语义相似度等句子对任务、分类任务；比较难的任务如阅读理解等，可以使用其他大模型。 例如，可以使用Tensorflow Lite在移动端进行部署，本文随后针对这一点进行了介绍，包括如何把模型转换成Tensorflow Lite格式和对其进行性能测试等。 一键运行albert_tiny_zh(linux,lcqmc任务)： git clone https://github.com/brightmart/albert_zh cd albert_zh bash run_classifier_lcqmc.sh albert_tiny_google_zh(累积学习10亿个样本,google版本) 模型大小16M、性能与albert_tiny_zh一致 albert_small_google_zh(累积学习10亿个样本,google版本) 速度比bert_base快4倍；LCQMC测试集上比Bert下降仅0.9个点；去掉adam后模型大小18. 2、albert_large_zh,参数量，层数24，文件大小为64M 参数量和模型大小为bert_base的六分之一；在口语化描述相似性数据集LCQMC的测试集上相比ber 3、albert_base_zh(额外训练了1.5亿个实例即 36k steps * batch_size 4096); albert_base_zh(小模型体验版), 参数量12M, 层数12，大小为40M 参数量为bert_base的十分之一，模型大小也十分之一；在口语化描述相似性数据集LCQMC的测试集上相比bert_base下降约0.6~1个点； 相比未预训练，albert_base提升14个点 4、albert_xlarge_zh_177k ; albert_xlarge_zh_183k(优先尝试)参数量，层数24，文件大小为230M 参数量和模型大小为bert_base的二分之一；需要一张大的显卡；完整测试对比将后续添加；batch_si 快速加载 依托于Huggingface-Transformers 2.2.2，可轻松调用以上模型。 tokenizer = AutoTokenizer.from_pretrained("MODEL_NAME") model = AutoModel.from_pretrained("MODEL_NAME") 其中MODEL_NAME对应列表如下： 模型名 MODEL_NAME albert_tiny_google_zh voidful/albert_chinese_tiny albert_small_google_zh voidful/albert_chinese_small albert_base_zh (from google) voidful/albert_chinese_base albert_large_zh (from
人工智能-项目实践-预训练-中文bigbird预训练模型.zip
最新发布
01-06
简介 BigBird是由google与2020年发表的模型结构，利用稀疏注意力机制，把二次依赖关系降为线性依赖，因此更适合做长文本任务。 本项目使用transformers库，CLUE开源语料，预训练中文版本BigBird模型，并借助huggingface社区分享，如果对您有用，欢迎star项目。 预训练步骤 提取文本长度在512-1024的文本(tiny、mini、small);提取文本长度在512-4096的文本(base、wwm-base) jieba分词，按照词频创建字典(tiny、mini、small、base);用chinese-roberta-wwm-ext原版字典(wwm-base) 掩词预训练(tiny、mini、small、base)；WWM掩字预训练(wwm-base)
transformer的输入到输出（维度以及矩阵计算）
NLPnoproble的博客
07-05 4406
维度变化：q*k.T=（3，5）*（5，3）=（3，3）（/^dk和softmax矩阵维度不变）维度变化：q*k.T=（3，5）*（5，3）=（3，3）（/^dk和softmax矩阵维度不变）z=(3,5*4)=(3,20) 注意力机制到这里就结束了（z为提取的向量特征）之后乘v=（3，3）*（3，5）=（3，5）(由于为4头注意力机制所以5乘4)之后乘v=（3，3）*（3，5）=（3，5）(由于为4头注意力机制所以5乘4)y=(3,5)的一个矩阵（包含了位置向量和单词向量）
transformer
Claire的博客
11-26 643
文本嵌入层的作用无论是源文本嵌入还是目标文本嵌入，都是为了将文本词汇的数字表示转变为向量表示，希望在这样的高维空间捕捉词汇间的关系。
Transformer详解
weixin_48912485的博客
04-19 2448
Transformer是一个基于Encoder-Decoder框架的模型。
Seq2Seq模型中的标签
ZZXN的博客
10-30 702
seq2seq模型一般由一个编码器和一个解码器组成。编码器将token的embedding序列编码成分布式表示（可能是向量序列或者一两个单独的语义向量），然后解码器根据编码器的结果生成出一个向量的序列。解码器生成的向量序列根据下游任务的不同有不同的利用方式。 **在使用seq2seq模型时，由于一些原因我们需要添加一些特殊的标签，或者叫dummy token，用来表示序列开始、序列结束、句子/段落的开始结束等等。**下面举例说明。 假设某seq2seq模型被用作英中翻译，且我们的样本是这样的： x: "I
css里面新建PHP是什么,CSS是什么
weixin_33740988的博客
03-12 30
CSS是什么意思？CSS是Cascading Style Sheets的缩写，中文翻译也就是层叠样式表，CSS(层叠样式表)起着控制HTML语句样式的作用。例如，可以改变字符的大小，背景的颜色，图像的排列等。使用HTML创建的页面都会在一侧显示文本，链接和图像。通过在那里添加CSS效果，可以创建视觉上易于查看的页面和设计丰富的页面，例如，如果我们想要把一个标题变成红色我们可以编写以下代码h2{co...
HTML如何在图片上添加内容（如文字，菜单栏，按钮等）
热门推荐
dengdengda的博客
09-26 9万+
HTML如何在图片上添加内容     最近做的一个效果是网页头部有一张大图，菜单栏漂浮在图片之上。我看到网上讲的很简单，大致原理就是图片定为相对定位，文字定为绝对定位即可。不过我实现的并不顺利，花了几个小时才让菜单栏漂浮在图片上。以下是效果图。 首先布好局： 以下是代码：               nav{         width: 100%;
预训练模型专题_Bart_论文学习笔记
qq_35128926的博客
01-20 1万+
Bart模型作为一种Seq2Seq结构的预训练模型，是由Facebook于2019年10月提出。 Bart模型的论文为：《BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension》 Bart模型代码：transformer库Bart模型 Bart模型为一种基于去噪自编码器seq2seq结构的预训练模型。Bart模型在预训练阶段，核心的预训练
jsp字符省略
04-08 144
<c:choose> <c:when test="${fn:length(wk.title)>5}">${fn:substring(wk.title,0 ,5 )}......</c:when> <c:otherwise>${wk.title}</c:otherwise></c:choose> 转...
当出现点后面用Alt+/无法正常匹配到相应方法的时候？
footprint01的博客
09-03 121
我遇到的情况： 1， 没有main准函数会出现这样的情况。
机器学习答案
一如年少模样丶的博客
06-26 8938
机器学习答案 选择题自行尝试答案 这里粘贴部分答案 线性回归 第2关 线性回归的正规方程解 #encoding=utf8 import numpy as np def mse_score(y_predict,y_test): ''' input:y_predict(ndarray):预测值 y_test(ndarray):真实值 ouput:mse(float):mse损失函数值 ''' #********* Begin ********
Bert实现命名实体识别NER任务 Trainer类实现
一如年少模样丶的博客
05-13 5169
Bert实现命名实体识别任务 使用Transformers.trainer 进行实现 1.加载数据 加载数据以及数据的展示，这里使用最常见的conll2003数据集进行实验 task = "ner" # Should be one of "ner", "pos" or "chunk" model_checkpoint = "distilbert-base-uncased" batch_size = 16 from datasets import load_dataset, load_metric,Data
多头注意力机制的通俗式理解
一如年少模样丶的博客
11-19 5092
各位都很忙，废话不多说直接上图。 首先 Q K V 均来自同一个数据， 假设 我们有同一个 输入数据 a, 则 Q = Linear（a） K = Linear（a） V = Linear（a） 其中，三个 Linear（·）并非同一个，拥有不同的参数。 Q 代表 query – 查询， K 代表 key – 键， V 代表 value – 值 我们目的 是从同一个 数据 a 中生成 含义为： 查询 某一个 键 对应的 权重， 然后使用这个 权重 乘以 值 得到 经过权重分配后的 数据
F1值(F-Measure)、准确率(Precision)、召回率(Recall) 菜鸡版理解
一如年少模样丶的博客
11-06 4673
F1值(F-Measure)、准确率(Precision)、召回率(Recall) 菜鸡版理解
Hugging Face Transformers 库中的 Pipeline 类是做什么的？
06-09
Hugging Face Transformers 库中的 Pipeline 类是一个高级API，用于快速使用预训练的模型进行自然语言处理任务。它提供了一种简单的方法来加载和使用预训练的模型，而无需处理复杂的底层细节。 Pipeline 类可以用于多种自然语言处理任务，例如： - 文本分类 - 命名实体识别 - 问答 - 文本摘要 - 文本生成 Pipeline 类的使用非常简单，只需要指定任务类型和相关的模型即可。例如，以下代码演示了如何使用 Pipeline 类进行文本分类： ``` from transformers import pipeline # 创建一个文本分类的Pipeline对象 text_classifier = pipeline('text-classification', model='distilbert-base-uncased-finetuned-sst-2-english') # 输入一段文本进行分类 result = text_classifier('This movie is great!') print(result) ``` 在这个例子中，我们创建了一个文本分类的 Pipeline 对象，并加载了一个已经预训练好的模型（distilbert-base-uncased-finetuned-sst-2-english）。然后，我们使用 Pipeline 对象对一段文本进行了分类，并输出了分类结果。 Pipeline 类的使用非常灵活，您可以轻松地将其集成到自己的项目中，并使用预训练的模型来解决各种自然语言处理任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一如年少模样丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值