transformers简介

已于 2023-09-30 15:35:23 修改
阅读量274 收藏 3
点赞数
分类专栏： Tranformers 文章标签： 深度学习 神经网络 人工智能 python
于 2023-09-30 15:30:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51691366/article/details/133434220
版权

目录

1、前言

2、网络结构

（1）、Transformers的总体架构可以分为四部分

（2）、输入文本包含

（3）、输出部分包含

（4）、编码器部分

（5）、解码器部分

1、前言

处理序列任务的时候，首要的选择就是RNN。但是RNN主要思想就是把前一时刻的输出作为这一时刻的输入，因此导致RNN在训练过程中后一个时刻的输入依赖于前一个时刻的输出，无法进行并行处理，导致模型训练的速度慢，比CNN模型要慢几倍到十几倍。

后来又提出使用CNN来替代RNN，速度上确实取得了一定的优势，但在面对更长的序列的时候，CNN的卷积核限制了视野的大小，导致无法看到更全局的信息。

最后直到self-Attention层的出现，才解决了这样的问题，也就是后来的transformer。

2、网络结构

transformer的总体网络结构如图所示：

（1）、Transformers的总体架构可以分为四部分

  • 输入部分
  • 输出部分
  • 编码器部分
  • 解码器部分

（2）、输入文本包含

  • 源文本嵌入层及其位置编码
  • 目标文本嵌入层及其位置编码器

（3）、输出部分包含

  • 线性层
  • softmax层

（4）、编码器部分

  • 由N 个编码器层堆叠而成
  • 每个编码器是由两个子层连接结构组成
  • 第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接
  • 第二个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接

（5）、解码器部分

  • 由N 个解码器层堆叠而成
  • 每个编码器是由三个子层连接结构组成
  • 第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接
  • 第二个子层连接结构包括一个多头注意力子层和规范化层以及一个残差连接
  • 第二个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接

Q渡劫
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
6.1 Transformer简介
m0_47880481的博客
05-18 705
第一章:Transformer背景介绍 1.1 Transformer的诞生¶ 2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩! 论文地址:https://arxiv.org/pdf/1810.04805.pdf 而在BERT中发挥重要作用的结构就是Trans...
Transformers 简介（上）
TensorFlowNews
03-11 9452
作者|huggingface 编译|VK 来源|Github Transformers是TensorFlow 2.0和PyTorch的最新自然语言处理库 Transformers(以前称为pytorch-transformers和pytorch-pretrained-bert)提供用于自然语言理解(NLU)和自然语言生成(NLG)的最先进的模型(BERT，GPT-2，RoBERTa，XLM，Dis...
transformers理论解释
东方佑
08-15 2031
B 站视频讲解Transformer 是谷歌大脑在 2017 年底发表的论文 attenti...
Transformer模型详解
最新发布
weixin_49376454的博客
05-28 1627
Transformer模型详解（人工智能）
Transformers 库的基本使用
热门推荐
步入人工智能
06-19 2万+
本内容主要介绍 Transformers 库 的基本使用。
一文详解Transformers的性能优化的8种方法
zenRRan的博客
08-31 4453
前言自BERT出现以来，nlp领域已经进入了大模型的时代，大模型虽然效果好，但是毕竟不是人人都有着丰富的GPU资源，在训练时往往就捉襟见肘，出现显存out of memory的问题，或者训练时间非常非常的久，因此，这篇文章主要解决的问题就是如何在GPU资源受限的情况下训练transformers库上面的大模型。这篇文章源自Vadim Irtlach大佬在kaggle的开源notebook，感谢原作...
【自然语言处理】Transformer 模型：概述及分类（综述）
书山有路，学海无涯。记录成长，追逐梦想
02-20 7656
在过去的数年里，基于 Transformer 的相关模型层出不穷。本文将对当下最流行的 Transformer 模型做一个简单全面的介绍。
Transformers for Natural Language Processing.pdf
11-12
图书简介 该书将带您学习使用Python的NLP，并研究了由Google，Facebook，Microsoft，OpenAI和Hugging Face等先驱者创建的变压器体系结构中的各种杰出模型和数据集。 这本书分三个阶段训练您。在向RoBERTa，BERT和...
Adaptive Attention Span in Transformers
01-20
简介   这篇论文作者提出了一种独特的自注意力机制，能够学习到最佳的attention覆盖文本的范围。   Transoformer很难关注一个超过千个单词的句子，但是在字符语言模型中，会出现跳跃千个字符的关联。作者提出了...
cLCTM:潜在概念主题模型（LCTM），但具有上下文化词嵌入。 使用PyTorch和Transformers在Python中实现
03-16
LCTM模型简介** 潜在概念主题模型（LCTM）是一种文本建模技术，它旨在揭示文本中的隐藏主题，并将这些主题与特定的概念关联起来。在传统的主题模型如LDA（Latent Dirichlet Allocation）中，主题被视为词的分布，而...
MuleEsb开源框架简介.pdf
10-02
2. **Transformers**：转换不同格式的消息，以便在异构系统间进行数据交换，同时也处理加密、压缩和编码等操作。 3. **Routers**：根据消息内容和规则进行路由决策，包括Inbound和Outbound Router，用于过滤和分发...
GPT-2，DistilGPT-2，BERT和DistilBERT的Swift Core ML 3实现，用于问答问题。 其他变形金刚即将推出！-Swift开发
05-27
变形金刚的Swift Core ML实现：GPT-2，DistilGPT-2，BERT，DistilBERT，更多即将推出！ 此存储库包含：对于BERT和DistilBERT：经过预先训练的Google BERT和Hugging Face DistilBERT模型精良-变形金刚的Swift Core ML...
第三节：从Transformer 到 BERT
01-07
简介：在18年年底的时候，有一件事情轰动了整个NLP界，它就是大家所熟悉的BERT模型，它刷新了整个文本领域的排行榜，受到了全球的瞩目。之后，很多公司慢慢开始采用BERT作为各种应用场景的预训练模型来提高准确率。...
使用Roberta和Bert简单变压器的COVID-19-Tweet分类：等级1216
01-31
1. **RoBERTa与BERT简介**： RoBERTa（Robustly Optimized BERT Pretraining Approach）是BERT（Bidirectional Encoder Representations from Transformers）的改进版本。BERT是一种基于Transformer架构的深度学习...
大模型框架知识笔记.md
09-13
文章简介： 本文将以Hugging Face Transformers库为例，演示如何在自然语言处理（NLP）任务中进行文本分类。通过六个明确的步骤，我们将详细介绍如何安装和导入必要的库，准备数据，选择并加载模型，进行训练和微调...
PyTorch预训练Bert模型的示例
12-16
transformers模块简介 transformers框架为Huggingface开源的深度学习框架，支持几乎所有的Transformer架构的预训练模型。使用非常的方便，本文基于此框架，尝试一下预训练模型的使用，简单易用。 本来打算预训练bert...
Transformers 快速入门 | 一
TensorFlowNews
03-17 4817
作者|huggingface 编译|VK 来源|Github 理念 Transformers是一个为NLP的研究人员寻求使用/研究/扩展大型Transformers模型的库。 该库的设计有两个强烈的目标: 尽可能简单和快速使用: 我们尽可能限制了要学习的面向对象抽象的类的数量，实际上几乎没有抽象，每个模型只需要使用三个标准类:配置、模型和tokenizer， 所有这些类都可以通过使用公共的fro...
【NLP】第 2 章 ： Transformers简介
sikh_0529的博客
02-08 1396
Seq2Seq 模型是以一系列对象 （例如单词、字母或时间序列）开始并生成另一个项目序列作为其输出的模型。当涉及到神经机器翻译时，我们需要提供特定语言的输入句子，而输出应该是另一种语言的翻译文本。如图2-1所示，基于 Seq2Seq 架构的神经网络以单词learn作为输入，输出单词的法语翻译。图 2-1Seq2Seq网络的功能编码器 和解码器 是构成模型的两个组件，如图2-2所示。输入序列的上下文由编码器以向量的形式保存，然后将其传输给解码器，以便解码器可以根据它包含的信息构造输出序列。
十分钟了解Transformers的基本概念
deephub
10-20 6753
RNN已死，注意力万岁？ 多年来，我们一直在使用RNN，LSTM和GRU解决顺序问题，您突然希望我们将其全部丢弃吗？ 嗯，是！！ 所有这三种架构的最大问题是它们进行顺序处理。 而且它们也不擅长处理长期依赖关系（即使使用LSTM和GRU的网络）。 Transformers 提供了一种可并行处理顺序数据的方式，因此，它不仅比以前的体系结构快得多，而且在处理长期依赖性方面也非常出色。 那么什么是 Transformers？ 这看起来很恐怖，不是吗？ 如果我告诉您所有这些都可以归结为一个公式，是不是就简单一些了
Transformers
07-27
Transformers是一个工业化、同质化的后深度学习模型，专为超级计算机上的并行计算而设计。它可以执行广泛的任务而无需微调，并且可以通过自我监督学习对数十亿原始未标记数据进行训练\[1\]。当需要一次推理多个句子时，可以使用列表形式作为参数传入，通过Transformers库中的pipeline函数实现\[2\]。如果你想了解更多关于Transformers的相关资源，你可以访问GitHub地址https://github.com/huggingface/transformers，官方开发文档https://huggingface.co/docs/transformers/index，以及预训练模型下载地址https://huggingface.co/models\[3\]。 #### 引用[.reference_title] - *1* [【NLP】第1章 什么是Transformers？](https://blog.csdn.net/sikh_0529/article/details/127032702)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [Transformers 库的基本使用](https://blog.csdn.net/benzhujie1245com/article/details/125279229)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Q渡劫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值