09.自注意力机制

最新推荐文章于 2024-09-01 10:01:58 发布
最新推荐文章于 2024-09-01 10:01:58 发布
阅读量263 收藏 4
点赞数 1
分类专栏： 李宏毅 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ftrghujhgf/article/details/139174320
版权

文章目录

输入

在这里插入图片描述

输出

在这里插入图片描述

运行

在这里插入图片描述
链接（Attention Is All You Need）

如何运行

在这里插入图片描述

解决关联性

在这里插入图片描述

attention score

也可以不用softmax，relu也行。
在这里插入图片描述

额外的

在这里插入图片描述

Q K V

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Multi-head self-attention

在这里插入图片描述
在这里插入图片描述

Positional Encoding

在这里插入图片描述
https://arxiv.org/abs/2003.09229

在这里插入图片描述

Truncated Self-attention

只看一个小范围。
在这里插入图片描述

影像处理

在这里插入图片描述

vs CNN

在这里插入图片描述
在这里插入图片描述

vs RNN

在这里插入图片描述

图上的应用

在这里插入图片描述

倾海、
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【NLP】Transformer—用注意力机制改进自然语言处理
sikh_0529的博客
09-24 9831
在上一章中，我们通过情感分析项目了解了() 及其在(然而，最近出现了一种新的架构，该架构已被证明优于多个 NLP 任务中基于 RNN 的() 模型。这就是所谓的架构。变形金刚已经彻底改变了自然语言处理，并处于许多令人印象深刻的应用程序的前沿，包括自动语言翻译 () 和建模基础蛋白质序列 () 的特性来创建帮助人们编写代码的 AI (）。在本章中，您将了解注意力和自注意力的基本机制，并了解它们是如何在原始转换器架构中使用的。
卷积神经网络 注意力机制_卷积神经网络中的注意
cumei1658的博客
07-09 5851
卷积神经网络 注意力机制This summer I had the pleasure of attending the Brains, Minds, and Machines summer course at the Marine Biology Laboratory. While there, I saw cool research, met awesome scientists, and co...
融合自注意力机制与深度学习的混凝土表面裂隙智能识别.pdf
08-18
自注意力机制（Self-attention Mechanism）是深度学习中的一个重要概念，它允许模型在处理数据时直接对序列中任意两个位置之间的依赖关系进行建模，提高了模型处理复杂序列数据的能力。自注意力机制在自然语言处理...
注意机制matlab
03-15
通过分析和理解这个脚本，我们可以学习到如何在MATLAB中构建一个自注意力模型，包括特征提取、权重分配、显著性评分以及最终的显著性图生成。 四、相关研究与进阶学习 阅读`1708.pdf`这篇文献，可能可以深入了解...
通道注意力机制keras_注意力机制及Keras实现
weixin_40009026的博客
12-21 3153
注意力往往与encoder-decoder(seq2seq)框架搭在一起，假设我们编码前与解码后的序列如下：编码时，我们将source通过非线性变换到中间语义：则我们解码时，第i个输出为：可以看到，不管i为多少，都是基于相同的中间语义C进行解码的，也就是说，我们的注意力对所有输出都是相同的。所以，注意力机制的任务就是突出重点，也就是说，我们的中间语义C对不同i应该有不同的侧重点，即上式变为：常见的...
深度学习100问27:什么是截断的BPTT
yyq916的博客
08-31 382
截断的 BPTT 呢，先确定一个合适的长度，就好比决定每一小段故事有多长。这种方法在很多地方都大显身手哦，比如自然语言处理里训练语言模型、搞机器翻译的时候，就像一个得力的小助手。想象一下，你有一个超级长的故事要讲，一口气从头讲到尾可太难啦，而且很容易把自己绕晕。这时候呢，截断的 BPTT 就像把这个长故事分成一小段一小段来讲。在循环神经网络训练那些长长的序列数据的时候，如果直接像个“愣头青”一样用传统方法，那计算量会大得吓人，还可能出现梯度消失或者爆炸的情况，就像烟花放一半突然熄火或者炸得不可收拾。
深度学习基础—池化
sniper_fandc的博客
08-30 597
最大池化的直观理解就是区域内最大值可能就是我们想要提取的重要特征，比如边缘检测，通常边缘附近是数值变化较大的地方，比如由亮变暗，像素值由大变小，如果过滤器覆盖了边缘，就会找到像素值大的特征值提取出来，从而保留重要的边缘信息，减少不是边缘的冗余信息。假设输入的图片是4*4的灰度图片（二维，只有一个通道），过滤器选择2*2，步长选择2，这样的效果就是将4*4的图片分为4块，因此结果是2*2的图像。由于卷积运算的重叠性，很多计算的特征是冗余的，而池化就可以将较大且特征较弱的图转化为较小且特征较强的图。
【学习笔记】第三章深度学习基础——Datawhale X李宏毅苹果书 AI夏令营
MoyiTech
08-27 558
梯度为0的点我们统称为临界点，包括局部极小值、鞍点等局部极小值和鞍点的梯度都为0，那如何判断呢？先请出我们损失函数：L(θ)，θ是模型中的参数的取值，是一个向量。由于网络的复杂性，我们无法直接写出损失函数，不过我们可以写出损失函数的近似取值。根据宋浩老师所讲的大学一年级高等数学的知识，我们可以通过三阶泰勒展开对损失函数在θ附近的取值进行近似：其中，θ是模型中的参数的取值，θ’是在θ附近的取值。H是海森矩阵，Hij​是L对θi​和θj​的二阶偏导数。
【开发实战】QT5 + 深度学习六大应用案例
关注微信公众号【OpenCV学堂】
08-29 575
考虑到硬件普适性与高性价比，对于小于30MB的模型，OpenVINO + CPU的解决方案都会是比较合理跟高性价比的。现在OpenVINO2024最新版本还支持大模型+CPU的部署方案，只要几行代码即可完成。它们都支持Python与C++ SDK，支持多种模型压缩与量化机制，支持模型同步与异步推理。QT5 + OpenCV4.8 开发与配置环境搭建，请看博客文章。四 健身智能 - 自动引体向上计数。二 图像修复与自动水印移除。一 人像抠图 背景提取与替换。三 实时人脸识别应用。六 电子围栏语音报警。
深度学习100问24:什么是语言模型
yyq916的博客
08-30 696
原来呀，它悄悄地学习了好多好多的文本数据，就像读了无数本故事书一样。比如说，你给它一个句子的开头几个词，它就能像个聪明的小侦探一样，猜猜后面最有可能出现啥词。- 机器翻译：在翻译的世界里，它就像一个热心的小助手。帮助翻译系统更好地理解原文的意思，然后生成更通顺的目标语言文本。不管是搞笑的故事、严肃的论文，还是浪漫的诗歌，它都能应付得来，具有很强的通用性。能更好地理解你输入的查询意图，然后给你提供更准确的搜索结果。能理解你的问题，然后给出合理又好玩的回答。能生成超级自然的文本，就像真正的人写出来的一样。
深度学习100问22:什么是RNN训练过程中的反向传播算法
yyq916的博客
08-30 363
有了这些梯度，小朋友就知道该怎么调整自己的“思考方式”了（更新网络的权重和偏置）。比如，如果发现某个线索（参数）对错误的影响很大，那就多调整一下这个线索的用法。在这个过程中，小朋友会计算出每个步骤对最终错误的“贡献”有多大，也就是计算损失函数对每个参数的梯度。想象一下，RNN 就像是一个在学习猜谜语的小朋友。反向传播呢，就是这个小朋友发现自己猜错了之后，想办法找出自己哪里错了并且改正的过程。总的来说，反向传播就是 RNN 自我改进的一种方法，通过从错误中学习，不断调整自己，变得越来越厉害。
深度学习100问33:如何避免梯度消失
yyq916的博客
08-31 382
可以用一些聪明的自适应学习率优化算法，像 Adam、Adagrad 等，它们能根据模型的训练情况自动调整学习率，可贴心啦。像 Xavier 初始化和 He 初始化这些方法，可以根据网络的结构自动调整权重的初始值，让信号在网络里能更好地传播，就像给信号铺了一条顺畅的路。首先呢，选个好的“调味料”，也就是激活函数。当输入是正数的时候，它的梯度始终是 1，不会像有些传统激活函数那样，想象一下在一条长长的路上修一些小道，这样信号就可以直接从一层传到更深的层，不用经过好多层，就不会出现梯度慢慢消失的问题啦。
小白学深度学习：知识蒸馏研究综述
gangyikeji的博客
08-30 1119
知识蒸馏是一种教师-学生(Teacher-Student)训练结构，通常是已训练好的教师模型提供知识，学生模型通过蒸馏训练来获取教师的知识。它可以以 轻微的性能损失为代价将复杂教师模型的知识迁移到简单的学生模型中。知识蒸馏与迁移学习思想较为相似，然而它们有以下四点的不同：知识蒸馏中的知识通常是在同一个目标数据集上进行迁移，而迁移学习中的知识往往是在不同目标的数据集上进行转移。知识蒸馏的两个网络可以是同构或者异构的，而迁移学习通常是在单个网络上利用其它领域的数据知识。
深度学习100问15:什么是交叉熵误差
yyq916的博客
08-30 840
真实的情况呢，就像是有个“标准答案”，知道红球出现的真正概率分布。而你的猜测呢，就是你给出的预测概率分布。要是差得远呢，交叉熵误差就大。对于不同的情况，比如有好几个类别要猜的时候，就用这个公式：。别被它吓到，其实就是把每个情况的真实概率和预测概率用一种特别的方式算一下差距，然后加起来。- 在分类问题里呀，交叉熵误差就像个严格的老师，它当损失函数，让模型不断学习，变得更聪明，好让预测结果更接近真实结果。- 如果模型猜错了，交叉熵误差会狠狠地“惩罚”它，这样模型就会赶紧改正，更快地学会正确的玩法。
Datawhale X 李宏毅苹果书 AI夏令营 Task_1深度学习详解入门
2302_77116414的博客
08-27 760
在分类任务中，机器需要找到一个函数，能够根据输入的特征（如邮件的内容、发件人、收件人等），从设定好的选项（如垃圾邮件和正常邮件）中选择一个作为输出。已知和的值能使损失小到 480，在已知数据（2017 到 2020 年每天的观看次数）上计算损失为 480，用该函数预测未来（2021 年）的观看次数，在未看过的数据上误差值为 0.58，说明在训练数据上误差较小。：写出带有未知参数的函数，如，其中是预测的今天频道的总观看次数，是前一天的总观看次数，和是未知参数，带有未知参数的函数称为模型，称为权重，称为偏置。
深度学习-VGG16原理和代码详解
最新发布
PeterClerk的博客
09-01 670
深度学习-VGG16原理和代码详解
深度学习100问13:什么是二分类问题
yyq916的博客
08-30 332
要解决二分类问题呀，我们可以找来一些“魔法工具”，也就是机器学习算法。比如说判断邮件的时候，就看看发件人是谁呀、主题是啥呀、内容里有没有特别的关键词呀。比如说准确率，就是看分对的样本有多少，占总样本的比例。还有精确率，就是真正被分到正类的样本，在所有被说成正类的样本里占多少比例。召回率呢，就是被正确分到正类的样本，在实际的正类样本里有多少。或者看看一个病人，是“得了某种病”呢，还是“没得病”。总之呀，二分类问题在我们生活里到处都是，用对了方法和标准，就能把这些问题解决得妥妥当当。嘿，你知道二分类问题不？
Datawhale X 李宏毅苹果书 AI夏令营-深度学习基础-Task1
少年小子的博客
08-27 208
在神经网络训练过程中，当参数对损失微分为零的时候，梯度下降就不能再更新参数了，训练就停下来了，损失不再下降了。梯度为0时不仅仅有局部极小值，还有鞍点（梯度是零且区别于局部极小值和。），这些都被成为临界点。临界点：梯度为零的点。
Datawhale X 李宏毅苹果书 AI夏令营-深度学习进阶task1：局部极小值与鞍点，批量和动量
m0_53743757的博客
08-27 541
在做优化的时候经常会发现，随着参数不断更新，训练的损失不会再下降, 但是我们对这个损失仍然不满意或者有时模型一开始就训练不起来，不管我们怎么更新参数，损失都降不下去。过去常见的一个猜想是我们优化到某个地方，这个地方参数对损失的微分为零。图中的两条曲线对应两个神经网络训练的过程。当参数对损失微分为零的时候，梯度下降就不能再更新参数了，训练就停下来了，损失不再下降了。
用图给我表示多头注意力机制，把图链接给我就行
02-22
很高兴为您服务，以下是一张多头注意力机制的图片：https://cdn.pixabay.com/photo/2018/09/07/12/47/multi-head-attention-3654886_960_720.png
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

倾海、

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值