Transformer+目标检测，这一篇入门就够了

已于 2022-01-18 17:47:56 修改
阅读量5.7k 收藏 24
点赞数
分类专栏： ▶ 深度学习-计算机视觉 文章标签： transformer 深度学习 目标检测 计算机视觉 自然语言处理
于 2021-10-03 20:12:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44936889/article/details/120597841
版权

Vision Transformer for Object Detection

在这里插入图片描述

本文作者：

BIT可达鸭

禁止转载

Encoder-Decoder 简介：

机器翻译是序列转换模型的一个核心问题，其输入和输出都是长度可变的序列。为了处理这种类型的输入和输出，我们可以设计一个包含两个主要组件的结构。第一个组件是一个 编码器（encoder）：它接受一个长度可变的序列作为输入，并将其转换为具有固定形状的编码状态。第二个组件是 解码器（decoder）：它将固定形状的编码状态映射到长度可变的序列。这被称为 编码器-解码器（encoder-decoder）结构：

同样我们可以将Encoder-Decoder结构类比到视觉算法中，例如FCN、UNet等语义分割模型中encoder对应卷积操作，而decoder则对应上采样操作：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
BIT可达鸭
关注
  • 0
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
【vision transformer】DETR原理及代码详解（三）
qq_35831906的博客
04-13 3516
Paddle框架下visition transformer-DETR项目实践及代码详解：
计算机视觉算法——基于Transformer的目标检测（DETR / Deformable DETR / Dynamic DETR / DETR 3D）
weixin_44580210的博客
08-07 1万+
DETR是DEtection TRansformer的缩写，该方法发表于2020年ECCV，原论文名为《End-to-End Object Detection with Transformers》。传统的目标检测是基于Proposal、Anchor或者None Anchor的方法，并且至少需要非极大值抑制来对网络输出的结果进行后处理，涉及到复杂的调参过程。而DETR使用了Transformer Encoder-Decoder的结构，并且通过集合预测损失实现了真正意义上的端到端的目标检测方法。...
RT-DETR：端到端的实时Transformer检测模型（目标检测+跟踪）
最新发布
pengxiang1998的博客
05-31 2641
博主一直一来做的都是基于的目标检测领域，相较于基于卷积的目标检测方法，如YOLO等，其检测速度一直为人诟病。终于，RT-DETR横空出世，在取得高精度的同时，检测速度也大幅提升。那么RT-DETR是如何做到的呢？在研究RT-DETR的改进前，我们先来了解下DETR类目标检测方法的发展历程吧DETRNMSDAB-DETRDETR100DETRDAB-DETRH-DETR然而，上述方法尽管已经大幅提升了检测精度，降低了计算复杂度，但其受本身高计算复杂度的制约，DETR。
使用Transformer来做物体检测
AI公园
04-20 3085
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”因公众号更改了推送规则，记得读完点“在看”~下次AI公园的新文章就能及时出现在您的订阅列表中作者：Jacob Briones编译：...
目标检测算法回顾之Transformer based篇章
xiaobaizaza_Ry的博客
05-23 4200
基于Transformer的目标检测方法（一）引言（二）概述（三）发展轴预览（四）CNN-backbone系列4.1 DETR与CNN-based的区别DETR的网络结构DETR的评价4.2 Deformable DETR4.2.0 Deformable DETR对DETR的问题分析与改进思路4.2.1 Deformable DETR的注意力机制4.2.2 Deformable DETR的多尺度4.2.3 Deformable DETR评价4.2.4 Deformable DETR总结4.3 UP-DETR
利用TRansformer进行端到端的目标检测及跟踪（附源代码）
limingmin2020的博客
05-23 1126
作者：计算机视觉研究院编辑：3D视觉开发者社区现存的用检测跟踪的方法采用简单的heuristics，如空间或外观相似性。这些方法，尽管其共性，但过于简单，不足以建模复杂的变化，如通过遮挡跟踪。
计算机视觉算法——基于Transformer的目标检测（Efficient DETR / Anchor DETR / Conditional DETR / DAB DETR）
weixin_44580210的博客
10-29 1万+
可以看到，代码上的修改并不大，相对于Conditional DETR主要是Cross Attention的过程中加入了长宽对Position Similarity的影响，并在Cross Attention的输出中对Anchor Box的四个参数进行显示的修正。DAB DETR是在Conditional DETR的基础上进行改进的，因此上文在Conditional DETR中介绍的Content Query和Spatial Query在DAB DETR中也是适用的，我们对其中不同的通路打上不同的颜色，其中。
yolov5目标检测模型 (融合transformer+已调参优化）
10-29
yolov5口罩检测，此模型已融合了attention机制，best.pt放在主目录下，考虑到训练时间使用的yolov5x，mAp96%左右，能够较高的识别人脸是否佩戴口罩，可以修改损失函数继续进行优化
基于Transformer的detr目标检测算法.pdf
02-08
DETR（DEtection TRansformer）是一种基于Transformer架构的端到端目标检测模型，其主要流程包括： 1. 特征提取：通过卷积神经网络提取输入图像的特征。 2. Transformer编码器：将特征图输入Transformer编码器，...
基于Transformer的detr目标检测算法，源码解读
02-08
DETR（DEtection TRansformer）是一种基于Transformer架构的端到端目标检测模型，其主要流程包括： 1. 特征提取：通过卷积神经网络提取输入图像的特征。 2. Transformer编码器：将特征图输入Transformer编码器，...
Swin-T-使用C++实现Swin-Transformer目标检测算法-附项目源码-优质项目实战.zip
04-29
本项目实战以C++为编程语言，实现了Swin-Transformer目标检测算法，提供了完整的源代码，旨在帮助开发者深入理解和应用这一先进算法。 首先，Swin-Transformer的核心思想是将自注意力机制引入到局部窗口中，以解决...
OW-DETR-基于Pytorch实现OW-DETR开放世界的Transformer目标检测算法-附流程教程+项目源码
05-11
DETR是Transformer架构在计算机视觉领域的一个重要应用，它通过端到端的方式解决了目标检测问题，而OW-DETR则进一步考虑了开放世界中的未知类别和不确定性，使得模型在面对新类别时具有更好的泛化能力。 OW-DETR的...
目标检测2.0新范式！DETR：Transformer目标检测的开山之作
weixin_43980550的博客
10-01 2555
DETR提出一个简洁的pipeline，无需先验知识、手工操作，通过transformer编解码结构和二分图匹配优化，直接得到目标检测框和类别。开启transformer目标检测新范式！
目标检测的Transformer结构，以及如何有效地利用Transformer提升目标检测性能
禅与计算机程序设计艺术
08-03 1503
2020年，无论是在科技领域还是商业界，机器学习已经成为当今最热门的方向之一。其涵盖了从数据分析到模型开发、优化等全生命周期过程，在解决复杂的问题上表现卓越。近几年，深度学习技术不断推动着机器视觉、自然语言处理等领域的快速发展。相比于传统机器学习算法，深度学习技术在识别任务上取得了显著的进步。例如，在目标检测领域，基于深度学习的方法，如Mask R-CNN、RetinaNet等，在COCO数据集上的准确率超过其他经典算法，并在AP指标上达到了新高度。
如何用Transformer来做目标检测？一文简述DERT及其变体
热门推荐
Paper weekly
04-24 1万+
©PaperWeekly 原创 ·作者｜张一帆学校｜华南理工大学本科生研究方向｜CV，CausalityDETR 在短短一年时间收获了 200+ 引用量，可谓是风靡一时，各种变体层出不穷...
Transformer用于目标检测- End-to-End Object Detection with Transformers
qq_32678471的博客
03-30 5911
文章目录 传统方法存在的问题 该方法的创新点 思想与具体内容 实验结果分析 传统方法存在的问题 当前的目标检测方法（比如Faster RCNN、YOLO与CenterNet等）都不够直观，存在以下两点问题： 不直接预测目标框，而是使用替代的回归和分类去处理大量的propoasls、anchors或者window centers； 模型的效果会受到一系列问题的影响：后处理去消除大量重叠框、anchors的设计、怎么把目标框与anchor关联起来。 优点 借鉴机器翻译和语音识别，二分匹配损失和非自回归t
DETR系列 | 端到端Transformer目标检测算法汇总！
sinat_41942180的博客
11-14 296
自从VIT横空出世以来，Transformer在CV界掀起了一场革新，各个上下游任务都得到了长足的进步，今天就带大家盘点一下基于Transformer的端到端目标检测算法！
DETR：Transformer的目标检测（detection）- Demo
Hugh_LAJ的博客
05-24 1236
Transformer是一个基于自注意力机制的深度学习模型，它的经典结构：encoder-decoder。前几年该模型在NLP领域有非常好的应用，最近查阅论文时发现Transformer**逐渐在CV方向发力，ViT (Vision Transformer)的提出更是添了一把火，今天就来简单了解一下DETR。
Transformer13~目标检测算法汇总
whaosoft143ai的博客
11-25 2974
都到了13了 ~~ 还是基于这个的么办法 自从VIT横空出世以来，Transformer在CV界掀起了一场革新，各个上下游任务都得到了长足的进步，然后盘点一下基于Transformer的端到端目标检测算法！进行了深入的消融研究，以验证DINO中不同设计选择的有效性。因此，DINO通过ResNet-50和多尺度特征在12个epoch内达到49.4AP，在24个epoch内实现51.3AP，显著优于之前最好的类DETR的模型。特别是，在12个epoch训练的DINO在小目标上表现出更显著的改善，提高了+7.5A
swin transformer+FPN+PAN代码做目标检测
05-20
以下是使用Swin Transformer、FPN和PAN进行目标检测的代码示例： 首先，我们需要安装必要的库和工具： ```bash pip install torch torchvision opencv-python tqdm ``` 接下来，我们需要下载COCO数据集和预训练的Swin Transformer模型。我们可以使用以下命令来下载它们： ```bash mkdir data cd data # Download COCO dataset wget http://images.cocodataset.org/zips/train2017.zip wget http://images.cocodataset.org/zips/val2017.zip wget http://images.cocodataset.org/annotations/annotations_trainval2017.zip unzip train2017.zip unzip val2017.zip unzip annotations_trainval2017.zip rm train2017.zip val2017.zip annotations_trainval2017.zip # Download pre-trained Swin Transformer model mkdir models cd models wget https://github.com/SwinTransformer/storage/releases/download/v1.0.0/swin_tiny_patch4_window7_224.pth ``` 接下来，我们可以编写一个Python脚本来训练我们的模型。以下是一个简单的示例： ```python import torch import torchvision import torch.nn as nn import torch.optim as optim import torchvision.transforms as transforms from torch.utils.data import DataLoader from torchvision.datasets import CocoDetection from swin_transformer import SwinTransformer from fpn import FPN from pan import PAN # Define hyperparameters batch_size = 16 num_epochs = 10 lr = 1e-4 # Define data transforms transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) # Load COCO dataset train_dataset = CocoDetection(root='./data', annFile='./data/annotations/instances_train2017.json', transform=transform) train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True) # Define Swin Transformer model swin = SwinTransformer() swin.load_state_dict(torch.load('./data/models/swin_tiny_patch4_window7_224.pth')) # Define FPN and PAN models fpn = FPN(in_channels=[96, 192, 384, 768], out_channels=256) pan = PAN(in_channels=[256, 256, 256, 256], out_channels=256) # Define detection head detection_head = nn.Sequential( nn.Conv2d(256, 256, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.Conv2d(256, 4, kernel_size=1), nn.Sigmoid() ) # Define optimizer and loss function optimizer = optim.Adam(list(swin.parameters()) + list(fpn.parameters()) + list(pan.parameters()) + list(detection_head.parameters()), lr=lr) criterion = nn.MSELoss() # Train the model for epoch in range(num_epochs): for images, targets in train_loader: # Forward pass features = swin(images) fpn_features = fpn(features) pan_features = pan(fpn_features) output = detection_head(pan_features[-1]) # Compute loss loss = criterion(output, targets) # Backward pass and update weights optimizer.zero_grad() loss.backward() optimizer.step() # Print statistics print('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, num_epochs, loss.item())) ``` 在上面的代码中，我们首先加载了预训练的Swin Transformer模型，并使用它提取特征。然后，我们将这些特征输入到FPN和PAN模型中，以生成具有不同分辨率的特征图。最后，我们使用一个简单的检测头来预测边界框。 在训练期间，我们使用均方误差（MSE）作为损失函数，并使用Adam优化器来更新模型的权重。 请注意，上面的代码仅提供了一个简单的示例，实际上，您可能需要进行一些其他的调整和修改，以便使其适用于您的具体任务和数据集。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BIT可达鸭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值