transformers学习日记1

最新推荐文章于 2023-04-13 19:40:24 发布
最新推荐文章于 2023-04-13 19:40:24 发布
阅读量189 收藏
点赞数
分类专栏： transformers模型 文章标签： 神经网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41215684/article/details/119776534
版权

transformers学习日记1

transformers原理学习

深度学习做NLP的方法，基本上都是先将句子分词，然后每个词转化为对应的词向量序列。这样一来，每个句子都对应的是一个矩阵 X = ( x 1 , x 2 , … , x t ) X=(x_1,x_2,…,x_t) X=(x1​,x2​,…,xt​)，其中xi都代表着第i个词的词向量（行向量），维度为d维，故 X ∈ R n × d X∈R^{n×d} X∈Rn×d。

  • 第一个基本的思路是RNN层，递归式进行
  • 第二个思路是CNN层，其实CNN的方案也是很自然的，窗口式遍历
  • Google的大作提供了第三个思路：纯Attention！单靠注意力就可以！RNN要逐步递归才能获得全局信息，因此一般要双向RNN才比较好；CNN事实上只能获取局部信息，是通过层叠来增大感受野；Attention的思路最为粗暴，它一步到位获取了全局信息

背景

2017 年，Google 提出了 Transformer 模型，用 Self-Attention 的结构，取代了以往 NLP 任务中的 RNN 网络结构。2018 年 10 月，Google 发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT 模型横空出世，并横扫 NLP 领域 11 项任务的最佳成绩！在 WMT 2014 Englishto-German 和 WMT 2014 English-to-French两个机器翻译任务上，基于Transformers的模型都取得了当时 SOTA 的效果。【SOTA result指state-of-the-art result，在该项研究任务中，目前最好的模型的结果/性能/表现】

**这个模型优点1，就是使得模型训练过程能够并行计算，比RNN好。**在 RNN 中，每一个 time step 的计算都依赖于上一个 time step 的输出，这就使得所有的 time step 必须串行化，无法并行计算。优点2：在分析预测更长的文本时, 捕捉间隔较长的语义关联效果更好。

Transformer就是一个Sequence-to-sequence的model。

**Transformer 依赖于 Self Attention 的知识。**Attention 是一种在深度学习中广泛使用的方法，Attention的思想提升了机器翻译的效果。

attention架构

NLP常用于生成任务的seq2seq结构。seq2seq模型结构在很多任务上都取得了成功，如：机器翻译、文本摘要、图像描述生成。谷歌翻译在 2016 年年末开始使用这种模型。有2篇开创性的论文：Sutskever等2014年发表的Sequence to Sequence Learning
with Neural Networks和Cho等2014年发表的Learning Phrase Representations using RNN Encoder–Decoder
for Statistical Machine Translation都对这些模型进行了解释。

**【然而】**想要充分理解模型并实现它，需要拆解一系列概念，而这些概念是层层递进的。如果能够把这些概念进行可视化，会更加容易理解。

seq2seq模型是由**编码器（Encoder）和解码器（Decoder）**组成的。其中，编码器会处理输入序列中的每个元素，把这些信息转换为一个向量（称为上下文（context））。当我们处理完整个输入序列后，编码器把上下文发送给解码器，解码器开始逐项生成输出序列中的元素。

这种机制，同样适用于机器翻译。在机器翻译任务中，上下文是一个向量（基本上是一个数字数组)。编码器和解码器在Transformer出现之前一般采用的是循环神经网络RNN。关于循环神经网络，建议阅读 Luis Serrano写的一篇关于循环神经网络的精彩介绍.

事实证明，上下文context向量是这类模型【RNN模型】的瓶颈。这使得模型在处理长文本时面临非常大的挑战。在 Bahdanau等2014发布的Neural Machine Translation by Jointly Learning to Align and Translate 和 Luong等2015年发布的[Effective Approaches to Attention-based Neural Machine Translation

](https://arxiv.org/abs/1508.04025)两篇论文中，提出了一种解决方法。这 2 篇论文提出并改进了一种叫做注意力attention的技术，它极大地提高了机器翻译的质量。注意力使得模型可以根据需要，关注到输入序列的相关部分

Self-Attention过程

Self-Attention的Input,它就是一串Vector,这个Vector可能是整个Network的Input,也可能是某个Hidden Layer的Output。

image-20210404202435331

我们用a来表示它，代表它有可能是前面已经做过一些处理，它是某个Hidden Layer的Output，那Input一排a这个向量以后，Self-Attention要Output另外一排b这个向量，所以每一个b都是考虑了所有的a以后才生成出来的。

那具体是怎么产生 b 1 b^1 b1这个向量的呢？这里有一个特别的机制,这个机制是根据 a 1 a^1 a1这个向量,找出整个很长的sequence裡面，到底哪些部分是重要的？哪些部分跟判断 a 1 a^1 a1是哪一个label的问题是有关係的？哪些部分是我们要决定 a 1 a^1 a1的class,决定 a 1 a^1 a1的regression数值的时候，所需要用到的信息？

用一个数值叫α来表示每一个向量跟 a 1 a^1 a1的关联的程度。

在这里插入图片描述

计算这个α的数值有不同的做法：

  • 比较常见的做法是用dot product【一般用这个】
    • 输入的这两个向量分别乘上两个不同的矩阵,左边这个向量乘上 W q W^q Wq这个矩阵得到矩阵 q q q,右边这个向量乘上这个矩阵 W k W^k Wk得到矩阵k。
    • 再做dot product,就是做element-wise 的相乘,再全部加起来以后就得到一个 scalar ，即α。
  • 有另外一个叫做Additive的计算方式，计算过程略。。
深度学习attention机制中的Q K V分别咋来的？

注意力机制说白了：就是要通过训练得到一个加权，自注意力机制就是要通过权重矩阵来自发地找到词与词之间的关系。因此肯定需要给每个input定义tensor，然后通过tensor间的乘法来得到各个input之间的关系。

那这么说是不是给每个input定义1个tensor就够了呢？不够啊！如果每个input只有一个相应的q，那么q1和q2之间做乘法求取了a1和a2的关系之后，这个结果怎么存放怎么使用呢？而且a1和a2之间的关系是对偶的吗？如果a1找a2和a2找a1有区别怎么办？只定义一个这模型是不是有点太简单了！

一个不够就定义两个，于是有了q和k。q你可以理解为代表自己用的，用q去和别的输入找关系；k理解为给别人用的，专门对付来跟你找关系的输入。这样子，用自己的q去和别人的k（当然和自己的k也行）做乘法，就可以得到找出的关系：权重 α \alpha α了。

**仅定义q和k两个够吗？可能也还是不够的。找出来的关系是要用的，不用等于白找。**权重 α \alpha α是要对输入信息做加权，才能体现找到的关系的价值的。那跟输入直接加权行吗？这么做也不是不行，就是显得直接和生硬了点。所以又定义了个v。要知道，v和q、k一样，都是通过系数矩阵对输入a做乘法得到的。所以定义了个v大概等价于又对a加了一层可以学习的参数，然后对经过参数调整后的a再去做加权、把通过注意力机制学到的关系给用上。所以，通过 α \alpha α和v的乘法进行加权操作，最终得到输出o。

不理解的话，重新回去看看。

在这里插入图片描述

从整体宏观来理解 Transformer

首先，我们将整个模型视为黑盒。在机器翻译任务中，接收一种语言的句子作为输入，然后将其翻译成其他语言输出。“黑盒”可以拆分为2个部分：左边是编码部分，右边是解码部分。其中编码部分是多层的编码器(Encoder)组成（Transformer 的论文中使用了 6 层编码器，这里的层数 6 并不是固定的，你也可以根据实验效果来修改层数）。同理，解码部分也是由多层的解码器(Decoder)组成（论文里也使用了 6 层的解码器）。

Encoder由多层编码器组成，每层编码器在结构上都是一样的，但不同层编码器的权重参数是不同的。每层编码器里面，主要由以下两部分组成

  • Self-Attention Layer
  • Feed Forward Neural Network（前馈神经网络，缩写为 FFNN）

单层transformer encoder

图：单层transformer encoder

输入编码器的文本数据，首先会经过一个 Self Attention 层，这个层处理一个词的时候，不仅会使用这个词本身的信息，也会使用句子中其他词的信息（你可以类比为：当我们翻译一个词的时候，不仅会只关注当前的词，也会关注这个词的上下文的其他词的信息）。本文后面将会详细介绍 Self Attention 的内部结构。

接下来，Self Attention 层的输出会经过前馈神经网络。

同理，解码器也具有这两层，但是这两层中间还插入了一个 Encoder-Decoder Attention 层，这个层能帮助解码器聚焦于输入句子的相关部分（类似于 seq2seq 模型中的 Attention）。

在这里插入图片描述

从细节来理解 Transformer

上面，我们从宏观理解了 Transformer 的主要部分。下面，我们来看输入的张量数据，在 Transformer 中运算最终得到输出的过程。

Transformer 的输入

和通常的 NLP 任务一样，我们首先会使用词嵌入算法（embedding algorithm），将每个词转换为一个词向量。实际中向量一般是 256 或者 512 维。为了简化起见，这里将每个词的转换为一个 4 维的词向量。

那么整个输入的句子是一个向量列表，其中有 3 个词向量。在实际中，每个句子的长度不一样，我们会取一个适当的值，作为向量列表的长度。如果一个句子达不到这个长度，那么就填充全为 0 的词向量；如果句子超出这个长度，则做截断。句子长度是一个超参数，通常是训练集中的句子的最大长度，你可以尝试不同长度的效果。

参考资料

1、苏剑林的博客 https://spaces.ac.cn/archives/4765

weixin_41215684
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
日志分类存放_基于transformer的中文文本分类
weixin_27031001的博客
01-09 683
和之前介绍的基于TF-IDF、CNN、RNN的分类不同，重构了些代码，为了使整个流程更加清楚，我们要重新对数据进行预处理。阅读本文，你可以了解中文文本分类从数据预处理、模型定义、训练和测试的整个流程。之前的在博客园上：利用TfidfVectorizer进行中文文本分类(数据集是复旦中文语料)：https://www.cnblogs.com/xiximayou/p/13782440.htm...
transformer学习笔记II
superb_victor的博客
10-25 2779
transformer做ocr任务
如何使用transformers的trainer.train()函数如何训练自定义Bert的下游模型，并进行评估
weixin_44002458的博客
04-13 4641
训练模型：使用 Trainer.train() 函数训练模型。准备数据集：将原始数据集转换为适合 BERT 模型训练的格式，例如使用 tokenizer 对文本进行编码，将标签转换为数字等。定义数据加载器：使用 Dataset 和 DataLoader 对数据集进行加载和处理，以便在训练期间以批量的方式输入模型。创建 Trainer 对象：使用自定义的模型、数据加载器、训练参数和评估指标创建 Trainer 对象。定义模型：定义一个自定义的 BERT 模型，并根据任务类型添加相应的输出层。
新闻文本分类任务：使用Transformer实现
Chaos的博客
03-23 2495
自然语言处理（NLP）领域中的新闻文本分类任务旨在将一段文本自动分类到某个预定义的类别中，例如体育、政治、科技、娱乐等等。这是一个重要的任务，因为在日常生活中，我们需要处理各种类型的文本，并且需要在其中找到特定的信息。新闻文本分类任务的自动化可以帮助我们更快地了解大量的文本，并提供更好的搜索和推荐服务。在本文中，我们将介绍一些新闻文本分类任务的最新研究，并探讨它们的优势和劣势。
6. 文本分类——transformer模型
qq_38293297的博客
03-22 1万+
文章目录一、简介二、transformer结构三、用于文本分类的transformer1. embedding layer（嵌入层）2. positional encoding（位置编码）3. Scaled dot-product attention（缩放的点乘注意力机制）4. Multi-head attention（多头注意力）5. Padding mask6. 残差连接7. Layer No...
Transformers学习-代码环境配置
08-19
在进行Transformers学习之前，首要任务是正确地配置代码环境，确保所有必要的工具和库都能正常运行。本教程将指导你完成Windows 11系统下的环境配置步骤。 首先，我们需要下载代码文件。Transformers库通常与相关的...
transformers
05-11
Transformers 为数以千计的预训练模型奠定了基础（包括我们熟知的Bert、GPT、GPT-2、XLM等），支持100多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨就是让最先进的 NLP 技术人人易用。...
深度学习+BoxeR:Box-Attention for 2D and 3D Transformers
最新发布
02-18
阅读《BoxeR:Box-Attention for 2D and 3D Transformers》论文后，并参考了网络上的一些资料，做了一个论文分享ppt
Transformers for Natural Language Processing.pdf
11-12
该书将带您学习使用Python的NLP，并研究了由Google，Facebook，Microsoft，OpenAI和Hugging Face等先驱者创建的变压器体系结构中的各种杰出模型和数据集。 这本书分三个阶段训练您。在向RoBERTa，BERT和DistilBERT...
机器学习与数据挖掘复习1
08-03
机器学习与数据挖掘复习1 本摘要信息涵盖了机器学习和数据挖掘的基础知识点，包括监督学习、无监督学习、半监督学习、ensemble learning、降维、聚类、决策树、支持向量机、 transformers等。 1. 监督学习 监督...
transformer-predictions:线性和逻辑回归用于预测变压器状态，以更有效地进行维护
05-02
变形预测 线性和逻辑回归适用于变压器状态的预测，以实现更有效的维护。 需要使用Matlab。 档案： linearRegression.m：计算r值和简单的线性回归。 您只需要运行此文件。 logisticRegression.m：由linearRegression.m使用，计算logistic回归的结果。 multipleLinRession.m：由linearRegression.m使用，计算多变量线性回归的结果。 IF1-FEB22-detailed.csv：无法共享的私人信息。 但是，matlab代码可用于您自己的数据。 列包括年份，测得的水含量（ppm），总酸值（mgKOH / g），击穿电压，耗散因数，颜色，界面张力（mN / m）和类别。 用法： 将存储库克隆到本地文件夹 在Matlab中打开linearRegression.m并运行文件 输出： 输出线性和逻辑回
基于Transformer实现文本分类（Keras/TensorFlow）
白马负金羁
02-16 2651
2017年，Google 在论文 Attention is All you need 中提出了 Transformer 模型，其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 网络结构。而且实验也证明Transformer 在效果上已经完败传统的 RNN 网络
TREG(Transformed Regression for Accurate Tracking)
IS_MOKE的博客
10-23 1072
TREG(Transformed Regression for Accurate Tracking) 参考博客 提出TREG优势：1、生成高质量的回归表示图，为了能够精确定位 2、能够处理一些图片的变形 3、设计了一个设计在线的目标队列来更新跟踪目标的变化 ...
Regression Transformer：一种将回归抽象为条件序列建模问题的方法
人工智能学家
04-13 650
将 ScienceAI设为星标第一时间掌握新鲜的 AI for Science 资讯编辑 | 萝卜皮自然科学中的生成模型已经取得了巨大进步，但它们的可控性仍然具有挑战性。分子、蛋白质生成模型的一个巨大缺陷是缺少连续属性的归纳偏差。IBM 欧洲研究院和苏黎世联邦理工学院的研究人员提出了 Regression Transformer（RT），这是一种将回归抽象为条件序列建模问题的方法。这为多任务语言...
论文解读 | Transformer 原理深入浅出
蒋志碧的博客
03-02 1830
Attention 机制由 Bengio 团队于 2014 年提出，并广泛应用在深度学习的各个领域。而 Google 提出的用于生成词向量的 Bert 在 NLP 的 11 项任务中取得了效果的大幅提升，Bert 正是基于双向 Transformer。 Transformer 是第一个完全依赖于 Self-Attention 来计算其输入和输出表示的模型，而不使用序列对齐的 RNN 或 CNN。更...
【NLP】(task9)Transformers解决机器翻译任务
发现问题，并解决问题，批判性思维
08-31 5321
学习总结 （1）之前的任务都是语言理解类任务（如文本分类、抽取式问答、序列标注等），而对于文本生成任务（如机器翻译、文本摘要等），这类任务不仅需要对作为条件的输入有较好的表示能力（编码器），同时需要较强大的（序列）解码器生成目标文本。沿着解码器利用自监督学习的方式进行预训练，大佬们提出了一些预训练生成模型：BART、UniLM、T5和GPT-3等，更多机器翻译论文可参考清华大学NLP组整理的论文——https://github.com/THUNLP-MT/MT-Reading-List。 （2）本次学习用H
transformer理解
qq_22613769的博客
08-31 5835
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN和LSTM 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。 1.Transformer 结构 首先介绍 Transformer 的整体结构，下图是 Transformer 用于中英文翻译的整体结构。 ...
使用 Transformer 做预测 （代码+原理）
热门推荐
weixin_39986534的博客
08-19 2万+
数据集制作 首先我们直接上代码 还是用波士顿房价数据集作为测试 from sklearn import datasets # 导入库 from sklearn.model_selection import train_test_split boston = datasets.load_boston() # 导入波士顿房价数据 train = boston.data # sample target = boston.target # target # 切割数据样本集合测试集 X_train,...
基于transformer的剩余寿命分析
qq_21293523的博客
07-21 1627
title： Remaining useful life estimation via transformer encoder enhanced bya gated convolutional unit 1.只利用了transformer结构中的encoder部分来进行寿命预测，没有decoder结构，有别于NPL领域的transformer模型，NPL属于sequence to sequence 结构，encoder将输入序列映射成高维向量，decoder将高维向量输出为序列。 2.对模型加..
Hugging Face Transformers迁移学习
10-15
1. 加载预训练模型：使用Hugging Face Transformers中的`AutoModel`和`AutoTokenizer`类加载预训练模型和对应的分词器。 2. 准备数据集：将数据集转换为模型所需的输入格式，通常是将文本转换为数字表示，并将其...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值