Transformer and Pretrain Language Models3-3

最新推荐文章于 2024-06-24 10:48:11 发布
最新推荐文章于 2024-06-24 10:48:11 发布
阅读量353 收藏 10
点赞数 6
分类专栏： 大模型 文章标签： transformer 语言模型 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_58810992/article/details/135732051
版权
本文探讨了注意力机制如何解决信息瓶颈、缓解RNN中的梯度消失问题，以及提高神经网络的可解释性。通过实例分析，注意力机制实现了短软对齐，增强了模型在机器翻译等NLP任务中的性能。
摘要由CSDN通过智能技术生成

insights of attention注意力机制的特点

我们引入的attention机制到底给端到端的模型带来了什么变化？

1、信息瓶颈问题：注意力机制的出发点首先就是为了解决信息瓶颈问题而存在的，这样我们通过注意力机制decoder端在每次生成的时候，都可以直接关注到encoder端所有位置的信息，信息瓶颈的问题就可以有效地解决了

2、注意力机制同样很有效地缓解了RNN中的梯度消失的问题，它通过在encoder和decoder之间提供了一种直接连接方式，防止了梯度在RNN中会传播过长，进而导致梯度消失

3、注意力机制也给神经网络这样一个黑匣子的模型，提供一定的可解释性，我们通过将decoder端每次的注意力分布可视化，我们可以画出右边这样的一个图，黑色表示注意力分数比较低，越接近白色，表示这个值越高。我们可以看到对于前面机器翻译的这样一个任务，注意力机制其实实现了一种短软对齐的策略，它翻译得到的英文单词会更加关注和表示相同含义的中文单词，比如这里的many更多和airport机场，这样的一个可视化，我们也可以发现模型在一定程度上，学习到这两个语言中一种语义的对齐关系，所以总体来看，注意力机制给RNN带来了很多有益的改变，而且极大地提高了RNN在不同的NLP任务上的表现

ringthebell
关注
  • 6
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
parcel-transformer-svelte:Svelte 3的包裹2变压器
05-24
npm install parcel-transformer-svelte -D 之后，您应该在.parcelrc配置Svelte文件的转换： { " extends " : [ " @parcel/config-default " ], " transformers " : { " *.svelte " : [ " parcel-transformer-...
GPT-3入门汇总**
03-02
GPT-3，全称为Generative Pre-trained Transformer 3，是人工智能领域的一个里程碑式模型，由OpenAI（现为微软子公司）开发。该模型基于谷歌的Transformer架构，旨在理解和生成人类可读的自然语言，其核心是通过深度...
Transformer and Pretrain Language Models3-6
weixin_58810992的博客
01-26 1054
预训练语言模型的优势就是，我们在语言模型的预训练之后，学习到的知识可以非常容易地迁移到各种下游任务，去提升下游任务的性能，我们看到这个word2vec是第一个预训练语言模型，现在的话，其实绝大部分的语言模型都是基于transformer encoder模型，比如Bert。
Transformer and Pretrain Language Models3-1
weixin_58810992的博客
01-21 1175
attention mechanism注意力机制 以下是一个运用RNN模型来解决机器翻译问题的一个具体例子，这个模型中存在一个非常重要的问题，即信息瓶颈的问题
Transformer and Pretrain Language Models3-2
weixin_58810992的博客
01-21 587
在这个变体中，w1、w2和v，分别是两个权重矩阵和一个权重向量；tanh是一个激活函数。这样的话最后也可以得到一个标量，作为前面的注意力分数。如果两个向量的维度不一样，我们就需要在中间加上一个权重矩阵，来实现他们之间的相乘，然后最后得到一个标量。它和前面的有一个比较大的不同，它使用了一层的前馈神经网络，来将两个向量变成一个标量，来得到注意力分数。此外还有许多其他的变体，可执行查找了解。
Transformer and Pretrain Language Models3-5
weixin_58810992的博客
01-24 861
优点：1、Transformer是一个具有很强表示能力的模型，而且在很多这个任务中都得到了一个验证，目前也有将这些工作迁移到视觉，然后存储到网络等其他领域的一些工作。2、这个模型结构本身非常适合并行计算，因为它的attention的计算过程，包括后面前馈网络计算过程，其实都是可以进行，这个对目前GPU等加速设备非常友好。3、我们通过对attention的一个可视化也可以发现，这个注意力模块其实很好地建模了句子中token和token之间的关系。
Transformer and Pretrain Language Models3-4
weixin_58810992的博客
01-23 1937
首先回顾一下之前的RNN的一个端到端的模型，以下是一个典型的两层的LSTM模型，我们可以发现，这样一个RNN模型，一个非常重要的一个缺点就在于，它必须顺序地执行，对于文本这样一个序列，它必须先计算得到第一个位置的一个表示，然后才可以往后计算文本第二个的一个表示，然后接着才能去计算第三个。而这样的模式，其实对于目前并行能力非常强大的GPU等专业设备来说，非常不友好，会造成很多资源浪费。
【大模型学习3——Transformer and Pretrain Language models】
weixin_54379099的博客
10-24 45
注意力分数e^{1}注意力机制的变体，向量相乘中间权重矩阵把两个向量通过激活函数变成一个表里注意力解决信息瓶颈问题，缓解了梯度消失，增强可解释性。
【论文阅读】Language Models are Few-Shot Learners(GPT-3)
qq_52852138的博客
06-09 1273
本文简要介绍了GPT-3的背景，模型架构，训练数据以及训练方式部分。具体训练细节，实验结果很多，可以在用到的时候再看。
【论文阅读】Finetuned Language Models Are Zero-Shot Learners
qq_52852138的博客
10-01 2893
【论文阅读 ICLR2022】Finetuned Language Models Are Zero-Shot Learners
Transformer-based模型的综述：AMMUS : A Survey of Transformer-based Pretrained Models in NLP
tagagi的博客
11-01 3128
论文地址： https://arxiv.org/abs/2108.05542 1 导言 预训练的来源 最开始是基于规则的学习，后来被机器学习取代 早期机器学习需要特征工程，需要专业领域的知识，耗时 由于硬件和词嵌入的发展，类似于CNN、RNN的深度学习模型出现 问题：除词嵌入外需要从头开始训练模型、需要标记大量实例、成本很高 进而我们期望少量标记实例，尽可能少的训练步数 基于迁移学习（允许重用在源任务中学到的知识，以便在目标任务中很好地执行）的启发： 使用大规模标...
Swin-Unet-Transformer网络-用于语义分割-二分类
03-21
1.增加了数据加载部分，二分类loss 2.必要的中文注释 3.附带了自己的数据集 4.有问题随时联系
turkish-language-models:基于 Transformer 的土耳其语模型
05-29
土耳其语模型介绍在这个存储库中，我们发布了基于 Transformer 的土耳其语模型和相关工具。 新模型、数据集、更新和教程即将推出。 请与保持联系。 对于任何问题或请求，请随时提出问题。 我们是一个热情的研发团队...
Survey Transformer based Video-Language Pre-training.pdf
09-25
单流结构如VideoBERT（Sun et al., 2019）将视频帧和文本序列合并成一个单一的输入序列，而多流结构如ViLBERT（Lu et al., 2019）和LXMERT（Tan and Bansal, 2019）则分别处理视觉和语言信息，然后通过跨模态交互层...
时空预测 | 基于深度学习的碳排放时空预测模型
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
06-20 241
时空预测 | 基于深度学习的碳排放时空预测模型
深度学习可解释性方法的一些概念
最新发布
阿航的博客
06-24 378
理解和解释深度学习模型的决策过程和原理。
基于python+django的深度学习的身份证识别考勤系统【D1】
ANDROID6666666的博客
06-20 468
系统环境操作系统：Windows架构：B/S架构（Browser/Server，即浏览器/服务器架构）开发环境主要编程语言：Python3.7Web框架：Django图像处理库：OpenCV数据库：MySQL技术栈Python编程语言：系统的主要开发语言，提供了丰富的生态系统和强大的数据处理能力。Django框架：用于快速开发Web应用程序，包括处理HTTP请求、管理数据模型和渲染用户界面。深度学习：利用深度学习技术，通过训练模型实现身份证信息的自动识别和提取。
动手学深度学习（Pytorch版）代码实践 -卷积神经网络-20填充与步幅
李思成的博客
06-22 245
【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-20填充与步幅。
深度学习-transformer解读
02-04
“深度学习-transformer解读” Transformer模型是深度学习领域的一个重要突破，尤其是在自然语言处理（NLP）任务中，它由Google的研究人员在2017年的论文《Attention is All You Need》中提出。Transformer的核心...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值