transformer基础知识集锦

最新推荐文章于 2024-04-27 22:27:24 发布
最新推荐文章于 2024-04-27 22:27:24 发布
阅读量641 收藏 1
点赞数
分类专栏： 计算机视觉 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/catherine981234/article/details/128092162
版权

1、self attention  及 multi-head self-attention

（1）基础图解

Multi-headed Self-attention（多头自注意力）机制介绍 - 知乎

图解超级清楚~ 每一步都有明确说明

（2）代码实现

多头注意力机制 +代码解读_小郭小郭学富五车的博客-CSDN博客_多头注意力机制代码

Transformer中的多头自注意力在代码层面如何实现？ - 知乎

2、cross-attention 

（1）基础图解

2个序列 S1,S2（与self-attention最大的不同点）

计算S1的K,V

计算S2的Q

【科研】浅学Cross-attention？_MengYa_DreamZ的博客-CSDN博客

（2）代码实现

3、Criss-Cross attention

CCNet: 用于语义分割的交叉注意力机制 - 知乎

4、（未完待续）

KatherinePavlovna
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
LLM基础之Transformer模型简介.pdf
06-19
本篇讲解试图从最浅显的角度来让大家了解大语言模型的基础模型，Transformer模型，不涉及到任何数学公式和神经网络的基础知识。适合对于初学者的科普。
CVPR2022：使用完全交叉Transformer的小样本目标检测
gzq0723的博客
08-18 5466
关注并星标从此不迷路计算机视觉研究院公众号ID｜ComputerVisionGzq学习群｜扫码在主页获取加入方式论文地址：https://openaccess.thecvf.com/content/CVPR2022/papers/Han_Few-Shot_Object_Detection_With_Fully_Cross-Transformer_CVPR_2022_paper.pdf计算机视觉研究...
Transformer 代码详解(Pytorch版)
热门推荐
一璐有你的专栏
08-05 3万+
前言 基于上一篇经典网络架构学习-Transformer的学习，今天我们来使用pytorch 搭建自己的transformer模型，加深对transformer的理解，不仅在NLP领域绕不开transformer，而且在CV领域也是很火热，很多模型都用到了注意力机制。 Transformer完整代码 安装好pytorch开发环境，可以直接跑的。也可以直接用cpu跑我下面的transformer代码，数据集比较小，在2G内存就够了。 # ===============================
Cross-Domain Transformer用于无监督域自适应ICLR2022
白景屹的博客
05-13 3727
前置内容：Cross Attention（Transformer的解码器部分） 自注意力的计算回顾关于自注意力机制的思考； key-value注意力的计算为：Attention(Q,K,V)=softmax(QKTdk)VAttention(Q,K,V)=softmax(\frac{QK^{T}}{\sqrt{d_{k}}})VAttention(Q,K,V)=softmax(dk​​QKT​)V 交叉注意力和自注意力均来自Transformer，除了输入，交叉注意力的计算与自注意力一样。交叉注意力不对称.
Transformer模型架构及PyTorch源码详解（基于Attention is All You Need）
weixin_42756682的博客
04-24 3183
模型架构 Encoder： N个block组成，每个block由一个自注意层和+一个FFN层组成 Decoder： N个block组成，每个block由一个masked自注意层+交叉注意层+FFN层组成 交叉注意层——q来自decoder；k，v来自encoder的输出 位置编码： 位置编码会随着残差计算向后传播 源码 有五个相关类： Transformer TransformerEncoder TransformerDecoder TransformerEncoderLayer Transformer
transformer笔记
cuixuange的博客
03-09 217
来自李宏毅老师的课程笔记，http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html 0.前置基础 RNN: 优点:可以获取全局信息 缺点:不能并行计算 CNN: 优点:GPU并行计算 缺点:bigram仅能观察到本地信息 self-attention层: x1: input sequence item a1: item embedding q1...
【代码笔记】Transformer代码详细解读
记录学习^_^，欢迎交流~
11-28 6250
Transformer代码详细解读
Self -Attention、Multi-Head Attention、Cross-Attention
大鹏的专栏
11-24 2万+
Self -Attention是一端的注意力机制。Cross-Attention是两端的注意力机制，然后合起来。
交叉注意力机制CrossAttention
m0_63097763的博客
08-15 2万+
Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation、Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation、CrossAttention的计算过程、Encoder-Decoder架构中CrossAttention的输入要求略有不同
Transformer原理详解和代码
weixin_52862386的博客
05-29 2058
多头注意力机制是transformer的主要创新点，它摒弃了传统卷积神经网络和神经网络的思想，通过 Scaled Dot-Product Attention实现了信息交互，但一次性使用scle dot attention对计算机计算和信息交互而言效果并不好，所以对embedding向量进行映射，映射为等长的向量。Transfomrer目前的火热主要来源于其self-attention，它的设计非常符合人类，许多transformer的变体也是基于self-attention的基础上，进行各种的变换。
电力基础知识：DTU、RTU等XTU
06-15
配电变压器监测终端(distribution Transformer supervisory Terminal Unit),在电力供配电系统中，主要用于对配电变压器的信息采集和控制，它实时监测配电变压器的运行工况，并将采集的信息传送到主站或其他的智能...
Python Transformer模型笔记.md
08-17
通过阅读可以全面系统地学习Transformer模型的理论知识,包括其背景、思想、核心机制等。可以掌握使用Transformer模型进行机器翻译、文本生成等自然语言处理任务的编程方法。 阅读建议: 可以先学习Transformer的背景...
transformer解读.rar
03-06
介绍了transformer模型的结构组成以及各个结构之前的联系，并对其中涉及到的基础知识进行汇总，以此同时对数学模型进行了完整的推导。
人工智能开发入门教程知识点总结与必备知识.docx
04-07
基础知识：具备扎实的数学基础，包括概率论与数理统计、线性代数、微积分等。 机器学习原理：掌握监督学习、非监督学习、强化学习的基本概念、算法及其应用场景。 深度学习：深入理解卷积神经网络（CNN）、循环...
基于自注意力机制的长短期记忆神经网络(LSTM-SelfAttention)的回归预测
沅的博客
04-27 658
它结合了LSTM和自注意力机制的优势，可以有效地处理时序数据中的长期依赖关系和关键部分。这个模型结合了两个不同的结构，即长短期记忆网络（LSTM）和自注意力机制，从而在时序数据预测中发挥各自的优势。LSTM-SelfAttention模型的优势在于它既能捕捉到时序数据中的长期依赖关系（通过LSTM），又能关注输入数据中的关键部分（通过自注意力机制）。LSTM在时序数据预测中表现出色，因为它可以捕捉到数据中的长期依赖关系。自注意力层：在LSTM层之后，引入自注意力机制，以关注时序数据中的不同部分。
目标检测（任务概述、机器学习时代的方法、深度学习时代的目标检测模型）
hanmo22357的博客
04-27 577
目标检测任务的概念：尝试从一张输入图像中找出感兴趣的物体所在的区域。感兴趣物体所在的区域：一般通过RoI（Region of Interest）进行表示，往往是一个包含有感兴趣的物体的水平的矩形，有时候也会是倾斜的矩形或一个表示物体轮廓线的任意几何形状。目标检测和OCR的关系：目标检测是一种常见的图像处理任务，是OCR任务的基础。目标检测技术的发展：在21世纪初，研究者们提出了很多基于机器学习的目标检测算法；十多年后，深度学习将目标检测引领向了一个新时代。目标检测方法的分类。
【深度学习】Yolov8使用心得
weixin_40293999的博客
04-27 140
兜兜转转，原本以为和yolov没啥关系了，但是新公司又回到了yolov侧。yolov8 可以用pip的方式安装，以package的三方软件包形式，隐藏了很多细节。当然你也可以从git上把全套代码down下来。
基于卷积神经网络的垃圾图像分类系统研究与实现
haosen
04-21 1417
垃圾分类作为资源回收利用的重要环节之一, 可以有效地提高资源回收利用效率, 进一步减轻环境污染带来的危害. 随着现代工业逐步智能化, 传统的图像分类算法已经不能满足垃圾分拣设备的要求. 本文提出一种基于卷积神经网络的垃圾图像分类模型 (Garbage Classification Network, GCN). 实验结果证明, GCN 在垃圾分类数据集上取得了优异的结果, 能够有效地提高垃圾识别精度。
NLP（9）--rnn实现中文分词
最新发布
njh1147394013的博客
04-27 128
rnn分词
vision transformer基础知识
05-22
Vision Transformer (ViT)是一种基于Transformer架构的视觉模型，它是一种全新的图像分类方法，将图像转化为序列数据，然后输入到Transformer中进行处理。它是由Google Brain团队在2020年提出的，结合了深度学习和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值