Task02 学习Attention和Transformer 笔记

最新推荐文章于 2024-08-19 18:18:09 发布
最新推荐文章于 2024-08-19 18:18:09 发布
阅读量197 收藏
点赞数
分类专栏： # 【NLP入门之transforme】 文章标签： transformer 自然语言处理 深度学习
原文链接：https://github.com/datawhalechina/Learn-NLP-with-Transformers
版权

文章目录

前言

学习路径:
Attention --> Transformer —> BERT —>NLP

问题: 为什么会出现Attention?
answer: 基于RNN一类的seq2seq模型，在处理长文本时遇到了挑战，而对于长文本中不同位置的信息进行attention有助于提升RNN模型效果

1 什么是seq2seq模型？

sequence to sequence：常见的NLP模型结构
大白话: 从一个文本序列得到一个新的文本序列
例子: 机器翻译任务,文本摘要任务

2 基于RNN的seq2seq模型如何处理文本/长文本序列?

在这里插入图片描述- seq2seq模型中的编码器和解码器一般采用循环神经网络RNN(Transformer还没出现的时代)

3 seq2seq模型处理长文本序列时遇到了什么问题？

一方面单个向量很难包含所有文本序列的信息，另一方面RNN递归地编码文本序列使得模型在处理长文本时面临非常大的挑战（比如RNN处理到第500个单词的时候，很难再包含1-499个单词中的所有信息了）

3.1 解决方法

通过attention技术，seq2seq模型极大地提高了机器翻译的质量。归其原因是：attention注意力机制，使得seq2seq模型可以有区分度、有重点地关注输入序列。
A. 首先，编码器会把更多的数据传递给解码器。编码器把所有时间步的 hidden state（隐藏层状态）传递给解码器，而不是只传递最后一个 hidden state（隐藏层状态）
B. 注意力模型的解码器在产生输出之前，做了一个额外的attention处理。
attention可以简单理解为：一种有效的加权求和技术，其艺术在于如何获得权重

4 基于RNN的seq2seq模型如何结合attention来改善模型效果？

注意力模型不是无意识地把输出的第一个单词对应到输入的第一个单词，它是在训练阶段学习到如何对两种语言的单词进行对应

Transformer

Transformer模型在2017年被google提出，直接基于Self-Attention结构，取代了之前NLP任务中常用的RNN神经网络结构，并在WMT2014 Englishto-German和WMT2014 English-to-French两个机器翻译任务上都取得了当时的SOTA。
优点: 模型在处理序列输入时，可以对整个序列输入进行并行计算，不需要按照时间步循环递归处理输入序列
在这里插入图片描述

Transformer宏观结构

Transformer由编码部分和解码部分组成，而编码部分和解码部分又由多个网络结构相同的编码层和解码层组成。每个编码层由self-attention和FFNN组成，每个解码层由self-attention、FFN和encoder-decoder attention组成。

Transformer结构细节

输入处理

词向量

使用词嵌入算法（embedding algorithm）

位置向量

ransformer模型对每个输入的词向量都加上了一个位置向量。这些向量有助于确定每个单词的位置特征，或者句子中不同单词之间的距离特征。

编码器encoder
- Self-Attention层
- 多头注意力机制
- Attention代码实例
- 残差连接
解码器
编码器一般有多层，第一个编码器的输入是一个序列文本，最后一个编码器输出是一组序列向量
  • 线性层和softmax
    线性层就是一个普通的全连接神经网络，可以把解码器输出的向量，映射到一个更大的向量，这个向量称为 logits 向量：假设我们的模型有 10000 个英语单词（模型的输出词汇表），此 logits 向量便会有 10000 个数字，每个数表示一个单词的分数
  • 损失函数

参考

Datawhale基于transformers的自然语言处理(NLP入门)
队友的一些推荐学习资料
视频类

(强推)李宏毅2021春机器学习课程
重点：self- attention ，transformer，Bert
在这里插入图片描述

Transformer【动手学深度学习v2】
在这里插入图片描述

文本类
https://www.yuque.com/office/yuque/0/2021/xlsx/12417658/1631435944513-6ceae974-65ef-4a60-9b49-0189e73d80f6.xlsx?from=https%3A%2F%2Fwww.yuque.com%2Fdocs%2Fshare%2Fc38d308e-fc88-4b60-8b82-a34cc51e4919

论文-ICLR 2020：On The Realationship Between Self-Attention And Convolutional Layers
从理论上数学角度，证明CNN是特殊的self- attention
代码网址类
（GitHub）点击：https://jalammar.github.io/illustrated-transformer/
主页展示
在这里插入图片描述

百度网盘
链接：https://pan.baidu.com/share/init?surl=kU6ZzBPk5stBhfio5GIzsw
提取码：0709
苏剑林博客-关于Transformers的合集
链接：https://spaces.ac.cn/search/transformer/1/
在这里插入图片描述

数据闲逛人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【transformer笔记】Task02 ：Attention和Transformer
⛄
08-18 129
目录seq2seq模型组成向量长度RNN 模型的输入attentionattention对seq2seq的改进 seq2seq模型 组成 seq2seq模型是由编码器（Encoder） 和 解码器（Decoder） 组成 编码器：把这些信息转换为一个向量（称为上下文（context）） 解码器：解码器开始逐项生成输出序列中的元素 向量长度 上下文向量的长度取决于编码器 RNN 的隐藏层神经元的数量。 RNN 模型的输入 两个输入： 输入序列中的一个元素 x2x_2x2​（通过word embeddin
【组队学习】Task02：学习Attention和Transformer
诡途的博客
08-18 446
对于没有深度学习基础的小白我来说，看起来还是有点儿吃力的，结合了多方资料，大概了解了Transformer的运行机制，虽然还是似懂非懂的懵逼状态，收获还是蛮大的，本文更多作为个人学习笔记，很多地方理解也不是那么到位，仅供参考,有争议的话可以多查点儿其他资料,并请评论区留言指正!谢谢
Transformer学习笔记
qq_45104645的博客
06-01 902
其中pos表示词在句子中的绝对位置，d表示embedding之后向量的维度（后续会将词向量与位置向量相加，所以他们的维度是相同的），处于偶数维度的按照(1.1)进行编码，处于奇数维度的按照(1.2)进行编码。在decoder的多头注意力中与encoder的注意力基本是相同的，不同的是矩阵K和V是来自encoder的输出，Q是来自前面掩码注意力层的输出，形成了一个交叉注意力，交叉注意力可以捕捉到输入的序列和目标序列之间的关系，从而可以更好的预测输出。黑色，红色，蓝色分别别是一句话三个单词的对应的向量。
Vision Transformer学习笔记
weixin_44074191的博客
10-25 1774
本博客记录我学习vision Transformer这篇文章的过程，旨在记录整合各大网页资料，方便日后查看。
Transformer详解+Transformer李沫视频笔记
qq_55736201的博客
11-11 737
为什么除以根号dk：dk小的时候除不除都无所谓，大的时候会导致点积后矩阵中的值差距比较大，然后通过softmax函数，接近一的值就会更加接近1，其余会更加接近0，值向两端靠拢，梯度变小，跑不动（softmax函数会使大的更大小的更小，如果值向两端靠拢非常接近0和1了，那么相当于网络收敛了，梯度就变小了）预测时候需要利用训练时候batch的均值和方差来计算预测时候的均值和方差，假如碰到特别长的样本，那么之前算的均值和方差就不好用了，所以在变长的应用中不使用batchnorm。
【HuggingFace Transformer库学习笔记】基础组件学习：Trainer
STAR GAME
01-13 997
如果使用的是vscode，可直接在vscode中启动，输入。（会提示安装），然后再点击在当前工作目录里启动。
【HuggingFace Transformer库学习笔记】基础组件学习：Model
STAR GAME
01-10 726
Model学习
[动手学深度学习]注意力机制Transformer学习笔记
Sherlily的博客
10-02 199
深度学习注意力机制Transformer
【Datawhale AI夏令营】 Task3 学习笔记
weixin_69831681的博客
07-18 926
由于Task3是在Task2基础上做的改进，实操起来感觉比较简单，难度主要在于对Transformer的理解，以及在基础参数上自己尝试做出优化以抵达更高的上限。
机器学习笔记-Transformer
08-03
Transformer语言模型是一种基于注意力机制的深度学习模型，它是在2017年由Google提出的，被广泛应用于自然语言处理领域。 Transformer模型主要由编码器和解码器组成，其中编码器将输入的文本序列转换为一组向量，...
attention层和transformer层有什么区别
03-26
它的核心组件主要包括self-attention层和Transformer层，两者在模型中的作用和设计有所不同。 首先，让我们深入理解self-attention层。Self-attention机制，也称为自注意力，是一种处理序列数据的方法，它不再依赖...
From Attention to Transformer.pptx
04-11
【注意力机制与Transformer详解】 注意力机制（Attention）在深度学习领域中起着至关重要的作用，它使得...从最初的软注意力到自注意力和Transformer的演变，展示了深度学习模型在理解和处理复杂输入结构方面的进步。
Transformer Model: Attention without RNN
10-15
Transformer模型是深度学习领域中的一种序列到序列（Seq2Seq）模型，由Vaswani等人在2017年的NIPS会议上提出的《Attention is All You Need》论文中首次介绍。与传统的循环神经网络（RNN）不同，Transformer模型完全...
23 注意力机制—BERT
最新发布
kaszxc的博客
08-19 79
在计算机视觉中比较流行，将 ImageNet 或者更大的数据集上预训练好的模型应用到其他任务中，比如小数据的预测、图片分类或者是目标检测。使用预训练好的模型（例如 word2vec 或语言模型）来抽取词、句子的特征。在更换任务之后，还是需要构建新的网络来抓取新任务需要的信息。做迁移学习的时候，一般不更新预训练好的模型。
第N7周：调用Gensim库训练Word2Vec模型
lihuhelihu的博客
08-16 345
拿到了分词后的文件，在一般的NLP处理中，会需要去停用词。因为在默认情况下，open() 函数在 Windows 系统上使用 gbk 编码，而文件可能是使用其他编码（例如 UTF-8）保存的，这导致了 UnicodeDecodeError的问题。如果不确定“in_the_name_of_people.txt”文件的编码，可以尝试以下方法：可以使用 chardet 库来检测文件的编码。当然也可以直接跳过上面的检测文件的代码，直接在open() 函数中显式指定UTF-8的文件编码打开文件。
【飞桨AI实战】PaddleNLP大模型指令微调，从0打造你的专属家常菜谱管家
u010522887的专栏
08-16 1099
今天吃点啥？小模型也能发挥大作用，PaddleNLP 大模型指令微调实战
【ACL2024】基于长尾检索知识增强的大语言模型
科技很有意思
08-19 680
阿里云人工智能平台PAI与阿里集团安全部内容安全算法团队、华东师范大学何晓丰教授团队合作，在自然语言处理顶级会议ACL2024上发表论文。
Graph transformer和GAT区别
09-02
Graph Transformer和GAT（Graph Attention Network）之间的区别在于它们的设计和功能。Graph Transformer是一种带有图结构的Transformer，它通过使用图结构来处理输入数据中的关系信息。它基于Transformer模型，但...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值