【深度学习】Transformer相关知识学习

最新推荐文章于 2024-04-15 20:07:23 发布
最新推荐文章于 2024-04-15 20:07:23 发布
阅读量482 收藏 4
点赞数
分类专栏： Deep Learning 文章标签： transformer 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chen1234520nnn/article/details/120040763
版权

CNN和Transformer的区别：

1）CNN卷积归纳偏置对于规模较小的数据集较为有用，但对于较大的数据集(千万级规模数据集)而言，Transformer学习相关模式就足够了，甚至更加有效；

2）CNN提取局部信息，Transformer提取全局信息；

以一个目标检测网络为例，介绍Transformer的结构：

基于CNN的目标检测和Transformer的目标检测网络结构区别

 

 

检测流程

 

Transformer内部结构

 

Transformer内部结构2
匈牙利算法：匹配预测框和GT
精度：部分结构精度已经超过Faster RCNN

 

 

 

 

残差结构

 

 

超级无敌陈大佬的跟班
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CNN的典型特性
林学森的技术专栏
04-24 2595
以下文章摘录自： 《机器学习观止——核心原理与实践》 京东：https://item.jd.com/13166960.html 当当：http://product.dangdang.com/29218274.html (由于博客系统问题，部分公式、图片和格式有可能存在显示问题，请参阅原书了解详情) 1.1CNN的典型特性 除了前面小节所阐述的典型特征以外，我们还应该关心卷积神经网络的如下特征，以保证模型的鲁棒性： l位移不变性 l尺寸不变性 l旋转不变性...
深度学习-Transformer实战系列.rar
07-17
在"深度学习-Transformer实战系列.txt"这个文件中，可能包含了课程笔记、代码示例或者相关的学习资源链接，可以帮助你在理论学习的同时，通过实践巩固知识。 总的来说，这个深度学习-Transformer实战系列的视频教程...
【扫盲】机器学习图像处理中的深层/浅层、局部/全局特征
邹小驴
06-17 4661
浅层特征：浅层网络提取的特征和输入比较近，蕴含更多的像素点的信息，主要为一些细粒度的信息，比如颜色、纹理、边缘、棱角信息。原理：浅层网络感受野较小，感受野重叠区域也较小，所以保证网络捕获更多细节深层特征：深层网络提取的特征离输出较近，蕴含更抽象的信息，即语义信息，主要为一些粗粒度的信息。原理：感受野增加，感受野之间重叠区域增加，图像信息进行压缩，获取的是图像整体性的一些信息。基于内容的图像检索(Content-based Image Retrieval, CBIR)方法利用从图像提取的特征来进行检索。常用的
【读论文】（个人对DETR的理解）End-to-End Object Detection with Transformers
weixin_46221106的博客
05-01 370
注：该文记录自己在学习DETR、以及看论文过程中对该模型的理解。由于已经有很多大佬翻译了该论文，且沐神和bryanyzhu大佬对该论文已进行详细的讲解，因此该文其实是对这些公开学习资料的总结以及个人见解。参考链接上面给出。
深度学习transformer架构详细详解
最新发布
weixin_61967363的博客
04-15 1928
详细解释了transformer架构相关知识
MyDLNote-Transformer: 局部和全局的 Transformer - Transformer in Transformer
u014546828的博客
07-04 1497
Transformer in Transformer https://arxiv.org/pdf/2103.00112v1.pdf https://github.com/NZ99/transformer_in_transformer_flax https://github.com/huawei-noah/noah-research/tree/ master/TNT Abstract Transformer is a type of self-attention-based neural
Transform结构详解 + 手撕版本
qq_43446879的博客
05-15 6249
Transform 下图是Transform 的整体架构，由decoder和encoder构成，下面分部分对Transform的结构进行分析 (下图来自于论文Attention is all you need)。 (论文链接https://arxiv.org/pdf/2102.10772.pdf) 1.Encoder Encoder 主要是用来对句子的输入进行编码，下面用 ”我爱学习“ 这句话为例子解析编码过程。 首先是以词向量的形式进行输入，并且这里的词向量加入了positional encodin
理解深度学习，包括最新的transformer和GNN
08-07
本资源摘要信息旨在为读者提供深度学习的全方位了解，涵盖了从基础知识到最新的transformer和GNN的应用。 深度学习基础 深度学习是一种机器学习技术，通过多层神经网络来学习和表示数据。深度学习模型可以从数据中...
深度学习-Transformer实战系列
12-27
Transformer模型是深度学习领域中的一个重大突破，由Google在2017年提出的论文《Attention is All You Need》中首次介绍。Transformer模型以其创新性的注意力机制（Attention Mechanism）替代了传统的循环神经网络...
基于Transformer的日中翻译深度学习代码.zip
02-19
标题中的“基于Transformer的日中翻译深度学习代码”指的是一个使用Transformer模型进行日语到中文翻译的深度学习项目。Transformer模型是Google在2017年提出的，它在机器翻译和其他序列到序列任务上表现优秀，颠覆...
知识图谱+深度学习入门与进阶学习课件
02-14
在“深度学习入门”课程中，你将接触到神经网络的基础，包括多层感知机、卷积神经网络（CNN）、循环神经网络（RNN）以及现在流行的Transformer模型。此外，还将讨论损失函数、优化算法（如梯度下降和Adam）以及模型...
【深度学习】CNN+Transformer汇总
zhe470719的博客
05-08 1万+
这里写目录标题参考前言cnn与transformerConformer(国科大&华为&鹏城)详情 参考 1.CNN+Transformer算法总结 前言 总结了2021年以来，所有将CNN与Transformer框架结合的CV算法 在卷积神经网络(CNN)中，卷积运算擅长提取局部特征，但在捕获全局特征表示方面还是有一定的局限性。 在Vision Transformer中，级联自注意力模块可以捕获长距离的特征依赖，但会忽略局部特征的细节。 cnn与transformer CNN具有非常良好
全局图像特征与局部图像特征区别
我的博客
03-10 1万+
全局特征是指图像的整体属性，常见的全局特征包括颜色特征、纹理特征和形状特征，比如强度直方图等。由于是像素级的低层可视特征，因此，全局特征具有良好的不变性、计算简单、表示直观等特点，但特征维数高、计算量大是其致命弱点。此外，全局特征描述不适用于图像混叠和有遮挡的情况。局部特征则是从图像局部区域中抽取的特征，包括边缘、角点、线、曲线和特别属性的区域等。常见的局部特征包括角点类和区域类两大类描述方式。 ...
【深度学习】步态识别-论文阅读：（ICCV-2021）通过有效的全局-局部特征表示和局部时间聚合进行步态识别
zhe470719的博客
01-21 4281
这里写目录标题论文详情Abstract1. Introduction2 主要贡献3 Proposed Method3.1 Overview3.2 Local Temporal Aggregation3.3 Global and Local Feature Extractor3.4 Feature Mapping3.5 Loss Function4 Conclusion 论文详情 论文题目：Gait Recognition via Effective Global-Local Feature Represe
CNN的基本原理与实战(基于tensorflow2.0)
zhong_ddbb的博客
09-25 3865
文章目录CNN基本原理卷积层池化层全连接层CNN的实现手写数字识别图片的编码解码 CNN基本原理 主要包括卷积层，池化层，全连接层。 卷积层 1、二维卷积 （1）卷积（Conv2D） 主要负责提取图像钟的局部特征，卷积核进行卷积运算的过程如下： 注：蓝色图是输入，而青色图是输出，下同。 具体计算细节如下图： 每一个卷积核都可以从不同的角度提取图片中的信息。 假定输入图片大小 W×W，Filter大小 F×F ，步长 S，padding的像素数 P。 于是我们可以得出 输出图片大小为NxN，其中 N =
CNN卷积神经网络学习笔记（特征提取）
sinounuo的博客
04-26 6613
vgg16总共有16层，13个卷积层和3个全连接层，第一次经过64个卷积核的两次卷积后，采用一次pooling，第二次经过两次128个卷积核卷积后，再采用pooling，再重复两次三个512个卷积核卷积后，再pooling，最后经过三次全连接。1）输入图像尺寸为224x224x3，经64个通道为3的3x3的卷积核，步长为1，padding=same填充，卷积两次，再经ReLU激活，输出的尺寸大小为224x224x64。3）经128个3x3的卷积核，两次卷积，ReLU激活，尺寸变为112x112x128。
深度学习 Transformer机制
Fantastic
10-30 6091
Transformer
Attention机制与CNN的有机结合
小岁月太着急
07-15 1万+
目录 一、SENet（2017ImageNet冠军模型)---通道Attention 前 言 引入 主体思路 Squeeze-and-Excitation (SE) 模块 SE模块在Inception和ResNet上的应用 SE模块的实现 参考文献 二、SKNet（2019CVPR)---soft attention机制 SKNet 使用了两个思路来提高精度： 网络...
理解卷积神经网络CNN中的特征图 feature map
热门推荐
dengheCSDN的博客
09-05 5万+
         一直以来，感觉 feature map 挺晦涩难懂的，今天把初步的一些理解记录下来。参考了斯坦福大学的机器学习公开课和七月算法中的机器学习课。        CNN一个牛逼的地方就在于通过感受野和权值共享减少了神经网络需要训练的参数的个数。总之，卷积网络的核心思想是将：局部感受野、权值共享（或者权值复制）以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移、尺度、形变不...
深度学习面试资料-含答案
03-16
深度学习面试资料旨在帮助候选人全面准备深度学习相关的面试，涵盖了从基础理论到实践技能的多个层面。面试者需要深入理解神经网络的原理，包括但不限于卷积神经网络（CNN）、循环神经网络（RNN）和长短时记忆网络...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值