【BEV】学习笔记之 DeformableDETR(原理+代码解析)

已于 2023-10-28 09:17:46 修改
阅读量4.4k 收藏 63
点赞数 16
文章标签： 学习 深度学习 计算机视觉
于 2023-01-13 22:57:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42108183/article/details/128680716
版权
1、前言

Vision transforer(ViT)是Google团队提出的将transformer应用在图像分类的模型，成为了transformer在CV领域应用的里程碑著作。而DETR成功的transformer引入到目标检测任务中，也为后来的BEV的模型奠定了基础。Deformable DETR的是针对DETR训练慢、小目标检测差的问题而提出来的，同时进一步推进了BEV模型的发展，因此本文将对Deformable DETR进行解析，如有不对的地方，还望大佬们指出。

repo :https://github.com/fundamentalvision/Deformable-DETR

paper:https://arxiv.org/pdf/2010.04159

学习文章和视频 (强烈推荐):transformer、Vision transformer、DETR

欢迎进入BEV感知交流群，一起解决学习过程发现的问题，可以加v群:Rex1586662742或者q群:468713665。

2、模型简介

在transformer中，特征点的特征向量Value可以由一个网络学习到，但是这个Value并不能表示全局的建模关系，于是就由另外两个网络为分别为每个特征点学习一个query和key，然后利用当前特征点的query与所有特征点的key做点乘，然后进行softmax，这样可以计算出每个特征点与其他特征点的权重关系，然后利用这个权重关系，将所有特征点的Value进行加权求和，得到每个特征点最终的Value。实时上，每个特征点并非需要与其他每个特征点做self-attention，比如图片上的左上角的特征点与右下角的特征点的关系是十分微弱的，甚至毫无关系。

因此在Deformable DETR 中，每个特征点只与周围的几个特征点(默认为4)进行self-attention，也就是每个特征点的Value是由其周围4个特征点的的Value加权求和得到的。相对于DETR，在Deformable DETR中，引入了多尺度的特征(能够同时兼顾大目标与小目标的识别)，因此每个特征点都能够在每个特征层上找到一个自己的采样点，然后在每个采样点周围采样4个偏移点作为self-attention的对象，即利用 4 * 4 = 16 个偏移点特征向量Value来计算当前特征点的Value。这里有个问题，在transformer中，当前特征点的Value加权求和时是将自己的Value包括在内的，而在deformable detr中，是将自己value除外的。

现在已经基本明确在 Deformable DETR中， 特征点要与哪些偏移点怎么做self-attention了，那么后续可以分为两个部分:1、如何找到这些采偏移点，2、这些偏移点的权重系数是多少。文章是利用两个网络来实现的，一个网络通过特征点的Value预测16个偏移点(四个特征层)的位置，另一个网络利用特征点的Value预测16个偏移点的权重系数，如下图所示。
在这里插入图片描述
初看论文时，一直没理解论文中的图所表达的意思，后来有了一定的了解值之后，就根据自己的理解绘制的上方的图片，再回过去看论文中的图片的时候，就变得异常清晰了。图中左边所示为4种尺度的特征层，以最上方特征层中的一个特征点(0.3，0.3)为例，它在每个特征层上都有一个采样点(相对坐标一致)，正常来说每个采样点会与周围的四个点(绿色点)进行self-attention，但是这四个点最好的通过网络自己来学习，于是蓝色的点是网络学习到的偏移点，但是偏移点的坐标一般不会为整数，因此，蓝色特征点的Value就会有其附近的四个特征点(黄色)进行双线性差值得到，因此，一个特征点就采样到了16个偏移点，那么这个特征点的特征向量Value就由这16个偏移点的特征向量Value加权求和得到，这里也对应上了论文中的第二张图，下面的代码会有详细的解释。

3、代码解析

Deformable DETR的代码很容易就能运行起来，可以参考 Deformable DETR 实战（训练及预测）

1、predict.py

def detect(...):
    outputs = model(img)
    # -> models/deformable_detr.py

    # 将box恢复到原图尺寸
    bboxes_scaled = rescale_bboxes(outputs['pred_boxes'][0, keep], im.size)

2、models/deformable_detr.py

class DeformableDETR(...):
    def __init__(...):
        ...
        
    def nested_tensor_from_tensor_list(...):
        ...
        
    def forward(...):
        """
        Args:
            samples:[1,3,1066,800] 测试图片
        """
        # features三个不同尺度的特征层，pos三个特征层的位置编码
        features, pos = self.backbone(samples)
        for l, feat in enumerate(features):
            # src 不同尺度的特征层
            # ...下面的mask是为了支持 不同batch内不同尺寸的图片，后续不再说明，一般情况下，mask不起作用。
            src, mask = feat.decompose()  # src:[1,256,134,100]、[1,256,67,50]、[1,256,34,25]
        
        if self.num_feature_levels > len(srcs):
            for l in range(_len_srcs, self.num_feature_levels):
                if ...:
                    ...
                else:
                    src = self.input_proj[l](srcs[-1])  # 对最后一个特征层进行下采样
         			srcs.append(src)  # 4个不同尺度的特征层
					pos.append(pos_l) # 4个特征层的位置编码
        
        if not self.two_stage:
            # [300，256] 为 DETR中的object_query, 另外[300，256]为object_query的位置编码
            query_embeds = self.query_embed.weight #[300,512]
        # hs:[6,1,300,256] 6次decode block中的结果
        # init_reference:[1,300,2] 300个object_query参考坐标
        # inter_references:[6,1,300,2] #经6次过block调整过后的 object_query的坐标
        hs, init_reference, inter_references, enc_outputs_class, enc_outputs_coord_unact = self.transformer(srcs, masks, pos, query_embeds)
        # -> models/deformable_transformer.py
        for lvl in range(hs.shape[0]):
            if lvl == 0:
                reference = init_reference
            else:
                reference = inter_references[lvl - 1]
            reference = inverse_sigmoid(reference)  # 由于之前获得init_reference是经过sigmod的，现在要还原
            # 对每个block的结果预测  tgt(object_quert) 的类别 [1,300,91]
            outputs_class = self.class_embed[lvl](hs[lvl])
            
            # 对每个block的结果预测 tgt(object_quert) 的BBOX,偏移量，[x,y,w,h]   [1,300,4]
            tmp = self.bbox_embed[lvl](hs[lvl])
            if reference.shape[-1] == 4:
                ...
            else:
                tmp[..., :2] += reference # 加上参考点
                # 归一化坐标
                outputs_coord = tmp.sigmoid()
        out = {'pred_logits': outputs_class[-1], 'pred_boxes': outputs_coord[-1]}
        if self.aux_loss:
            # 在训练是使用 aux_loss
            ...
        return out

3、models/deformable_transformer.py

class DeformableTransformer(...):
    def __init__(...):
        ...
        
    def forward(...):
        """
        Argc:
        	srcs:4个不同尺度的特征层
        	pos_embeds:固定的位置编码
        	query_embed:解码时使用的query [300,256]
        """
        for lvl, (src, mask, pos_embed) in enumerate(zip(srcs, masks, pos_embeds)):
            src = src.flatten(2).transpose(1, 2) # 该层所有特征点的特征 [1, n, 256] 
            pos_embed = pos_embed.flatten(2).transpose(1, 2) # 该层特征点固定的位置编码 [1,13400,256]
            # self.level_embed 针对每一层的顺序进行可学习的位置编码
            lvl_pos_embed = pos_embed + self.level_embed[lvl].view(1, 1, -1) # 因为一共有4个尺度的特征层，因此还要加上不同尺度的位置编码
            ...
        
        src_flatten = torch.cat(src_flatten, 1) # [1, 17821, 256] 四个特征层上所有点的特征 
        lvl_pos_embed_flatten = torch.cat(lvl_pos_embed_flatten, 1) #[1, 17821, 256] 所有特征点的位置编码
        level_start_index = ...  # [0, 13400, 16750, 17600] 记录每个特征层在17821里面的位置
        # memory: [1,17821,256]
        memory = self.encoder(src_flatten, spatial_shapes, level_start_index, valid_ratios, lvl_pos_embed_flatten, mask_flatten)
        # -> 下方的DeformableTransformerEncoder
        
        if self.two_stage:
            ...
        else:
            query_embed, tgt = torch.split(...)  # query_embed [1,300,256]-> object-query的可学习的位置编码   tgt [1,300,256] ->  object-query
            reference_points = self.reference_points(query_embed).sigmoid()
            init_reference_out = reference_points  # [1,300,2]
        # hs:[6, 1, 300, 256] 6次decode的结果  inter_references:[6,1,300,4,2] 6次decode的object query 在特征层上的参考坐标
        hs, inter_references = self.decoder(tgt, reference_points, memory,spatial_shapes, level_start_index, valid_ratios, query_embed, mask_flatten)
        #  -> 下方 DeformableTransformerDecoder

        return hs, init_reference_out, inter_references_out, None, None
    
class DeformableTransformerEncoder(...):
    def __init__:
        ...
    
    def forward(...)
        """
        Args:
            src: [1, 17821, 256]  # 所有特征点的特征向量
            spatial_shapes:       # 每个特征层的尺寸
            level_start_index:	  # 用于将src里面的特征点划分到对应的特征层上
        """
        # 
        reference_points = self.get_reference_points(spatial_shapes, valid_ratios, device=src.device)
        for _, layer in enumerate(self.layers):
            output = layer(output, pos, reference_points, spatial_shapes, level_start_index, padding_mask)
            #  -> 下方的 class DeformableTransformerEncoderLayer
            
    
    def get_reference_points(...):
        
        # 遍历每个特征层的尺寸
        for lvl, (H_, W_) in enumerate(spatial_shapes):
            #按照0.5的距离，划分H_,W_
            ref_y, ref_x = ...
            ref_y = ref_y...  # 将ref_y 归一化到 (0,1)之间
            ref_x = ref_x...  # 将ref_x 归一化到 (0,1)之间
            ...
            
        reference_points = ... # [1, 17821, 4 , 2]  # 17821个特征点 在4个特征层上的归一化坐标，(采样点),每个坐标为(x,y) 
        return reference_points
        
class DeformableTransformerEncoderLayer(...):
    def __init__(...):
        ...
    
    # 位置编码
    def with_pos_embed(tensor, pos):
        return tensor if pos is None else tensor + pos
    
    def forward(...):
        """
        Args:
            src:[1, 17821, 256]
            pos:[1, 17821, 256] 位置编码
            reference_points:[1, 17821, 4, 2]
            spatial_shapes:特征层的尺寸
            level_start_index:...
        """
        # Deformable transformer
        src2 = self.self_attn(self.with_pos_embed(src, pos), reference_points, src, spatial_shapes, level_start_index, padding_mask)
        #  -> models/ops/modules/ms_deform_attn.py
        
        
class DeformableTransformerDecoder(...):
    def __init__(...):
        ...
    
    def forward(...):
        """
        Args:
            reference_points_input:[1,300,4,2] #预测的300个目标在每个特征层上的坐标
        """
        output = tgt  # tgt -> 每个block的中间结果
        for lid, layer in enumerate(self.layers):
            # 重复六次  out:[1,300,256]
            output = layer(output, query_pos, reference_points_input, src, src_spatial_shapes, src_level_start_index, src_padding_mask)
            #  ->  DeformableTransformerDecoderLayer
            ...
            if self.return_intermediate:
                intermediate.append(output)
                intermediate_reference_points.append(reference_points)
        
        if self.return_intermediate:
            # [6, 1, 300, 256] 6次decode的结果 [6,1,300,4,2] -> 6次decode的参考点坐标
            return torch.stack(intermediate), torch.stack(intermediate_reference_points)
class DeformableTransformerDecoderLayer(...):
    def __init__(...):
        ...
    
    def forward(...):
        """
        Args:
            tgt:[1, 300, 256] 
            query_pos:[1, 300, 256] 
        """
        # self attention中的 K,Q   
        q = k = self.with_pos_embed(tgt, query_pos)

        # 正常的transformer 计算 q，k，v   tgt=Value
        tgt2 = self.self_attn(q.transpose(0, 1), k.transpose(0, 1), tgt.transpose(0, 1))[0].transpose(0, 1)
        
        # 与之前的memory做 deformable transformer
        tgt2 = self.cross_attn(...)

        # tgt:[1,300,256]
        tgt = self.forward_ffn(...)
        return tgt

4、models/ops/modules/ms_deform_attn.py

class MSDeformAttn(...):
    def __init__(...):
        ...
    
    def forward(...):
        """
        Args:
            query:[1, 17821, 256],位置编码后的多尺度图像特征
            reference_points:[1, 17821, 4, 2] # 每个特征点在四个特征层上的采样点
            input_flatten:[1, 17821, 256]，没有位置编码的图像特征
            input_spatial_shapes:特征图尺寸
            input_level_start_index:...
        """
        # 在transformer中，为了得到含有全局建模关系的Value，为每个query计算出一个K、Q、V，利用query的K,Q来计算出的其他特征点相对于自己Value的权重，即当前query的Value是由所有特征点的Value加权求和得到。
        # 在Deformable DETR中，每个特征点先在每层特征点上找到自己坐标对应的采样点，然后在采样点周围采取四个偏移点的Value加权求和作为最终的特征，如果偏移点的坐标不为整数，那么这个偏移点的Value就由偏移点周围的4个特征点的Value双线性插值得到，可以看上图。
        # 学习每个特征点的Value，也就是self-attention中 K、Q、V中的V，不过这里不计算K和Q
        value = self.value_proj(input_flatten) # [1, 17821, 256] 
        value = value.view(N, Len_in, self.n_heads, self.d_model // self.n_heads) # [1,17821,8,32] 8头注意力机制

        # 计算偏移点的相对于ref_point的偏移量
        sampling_offsets = self.sampling_offsets(query).view(N, Len_q, self.n_heads, self.n_levels, self.n_points, 2)  # [1,17821,8,4,4,2]
        
        # [1, 17821, 4, 4]  每个value对应的偏移点(4*4)的权重系数
        attention_weights = F.softmax(...)
        
        if reference_points.shape[-1] == 2:
            # 偏移量+参考点坐标 为最终偏移点的坐标并归一化到(0,1)
            sampling_locations = ... 
        else:
            ...
        # 加权求和 cuda加速 
        output = MSDeformAttnFunction.apply(...)
        # 加权求和 pytorch实现,仅供测试
        out1 = ms_deform_attn_core_pytorch(...)
        return output  
        
def ms_deform_attn_core_pytorch(...):
    # for debug and test only
    """
    Args:
        value:[1,17821,8,32]，17821个特征点，每个特征点的value有8个head，每个head的长度为32
        value_spatial_shapes:每层特征图的shape,共4层
        sampling_locations:[1, 17821, 8, 4, 4, 2] # 每个head 在每个特征层上学习到的偏移点。
        attention_weights:[1, 17821, 8, 4, 4] # 17821个特征点，每个head 对应偏移点的value的权重系数。
    """
    value_list = ... # [13400,3350,850,221] # 将每层的所有特征点单独提取出来
    sampling_grids = 2 * sampling_locations - 1 #将采样点的坐标 从(0,1)映射到(-1,-1)之间  F.grid_sample 需要
    # for循环里面的注释是lid_ = 0 的时候
    for lid_, (H_, W_) in enumerate(value_spatial_shapes)
        value_l_ = ... # [8,32,134,100] 第lid_层的value
        sampling_grid_l_ = ... # [8,17821,4,2] 所有特征点在 第lid_层value上的偏移点
        sampling_value_l_ = F.grid_sample(..) #因为偏移点一般不为整数，利用F.grid_sample计算最终的偏移点(双线性插值)，如第2节中的图所示
    attention_weights = ... # [8,1,17821,16]  每个特征点对应16个偏移点的权重系数
    # 加权求和
    output = (torch.stack(sampling_value_list, dim=-2).flatten(-2) * attention_weights).sum(-1).view(N_, M_*D_, Lq_)
    return output.transpose(1, 2).contiguous()  #  [1,17821,256]

4、总结

为了深入理解BEV模型，学习BEV模型的发展是很重要的，向下追根溯源需要理解transformer、vision transformer、DETR。基于DETR的BEV模型后续还有DETE3D、PETR、PETRV2等等，后续希望能够沿着这个主线深入了解各个模型的优缺点。

Rex晚枫
关注
【点云鸟瞰图BEV】点云鸟瞰图BEV原理与可视化
叶子的博客
05-24 1万+
本节将介绍激光雷达等点云的鸟瞰图生成原理、代码及效果图。 1 BEV视图原理 点云BEV（Bird's Eye View）视图是指点云在垂直于高度方向的平面上的投影。通常，在获得bev视图前，会将空间分割成体素，利用体素对点云进行下采样，然后将每个体素作为一个点进行投影。体素是指将三维空间按照固定尺寸长方体进行划分时的长方体（Δl*Δw*Δh）。 体素投影时可以得到BEV视图的像素点坐标。每个像素点的特征取值则可以通过多种方式得到。 ...
bev pool 原理及代码讲解
@bangbang的博客
09-17 156
个视锥点对应的3d坐标（voxel/bev坐标系）, 其中Nprime = B x N x D x H x W（相当于视锥点个数）。将bev特征沿着Z方向（dim=2）拍平，得到shape大小为(B,C,X,Y)大小的bev特征，比如(1,80,200,200)。bev_pool的目的是。对于感知算法而言，我认为比较重要的是要了解在Bev视角下，x轴和y轴方向的感知距离，以及Bev网格的大小。（1）基于 geom_feats在bev网格中的位置(x,y,z)和batch_id,对其进行排序。
DEFORMABLE DETR详解
qq_52053775的博客
08-22 2万+
transformer组件在处理图像特征图中的不足。在初始化时，注意模块对特征图中的所有像素施加了几乎一致的注意权重。长时间的训练周期是为了学习注意权重，以关注稀疏的有意义的位置。另一方面，transformer编码器中的注意权值计算是二次计算w.r.t.像素数。因此，处理高分辨率的特征映射具有非常高的计算和内存复杂性。
deformable DETR源码——超详细图解
weixin_43507865的博客
03-22 2814
网上也有很多大佬讲deformable DETR 的原理和源码，但是我觉得纸上得来终觉浅，还是要自己一行代码一行代码地 debug，才能理解得更加透彻。于是有了这篇博客，方便自己后续复习。
Deformable DETR改进|爆改模型|涨点|在骨干网络和可变形编码器间加入AFPN颈部网络（附代码+修改教程）
最新发布
m0_51665349的博客
10-04 547
本文修改的模型是Deformable-DETR，在原本的Deformable DETR中，骨干网络的输出通过卷积层后直接作为可变形编码器的输入，无颈部网络。本文在Deformable DETR的骨干网络和可变形编码器之间加入渐近特征金字塔网络（AFPN）作为颈部网络。AFPN的核心在于引入了一种逐步特征融合策略，将底层和高层特征逐渐引入目标检测过程。通过这种方式，可以有效减小不同层次特征之间的语义差异，增强特征融合的效果，使检测模型更好地适应多层次的语义信息。
Deformable-DETR代码实现
m0_49752107的博客
04-05 1429
命令：python main.py --coco_path “data/coco” --batch_size=1 --num_workers=1 --output_dir=“outputs” --start_epoch 0 --resume=r50_deformable_detr-checkpoint.pth。参考：https://www.jianshu.com/p/b364534fd0a7。修改代码使得开始跳过验证，直接开始训练。数据集：coco2017。
Deformable-DETR:可变形的DETR
03-10
可变形的DETR 由，， ，，，。 该存储库是论文《可的正式实现。 介绍 TL; 博士可变形DETR是一种高效且快速收敛的端到端对象检测器。 它通过一种新颖的基于采样的有效注意力机制，缓解了DETR的高复杂性和缓慢收敛的问题。 抽象的。 最近提出了DETR，以消除物体检测中对许多手工设计组件的需求，同时表现出良好的性能。 但是，由于Transformer注意模块在处理图像特征图时的局限性，它收敛缓慢且特征空间分辨率有限。 为了缓解这些问题，我们提出了可变形DETR，其关注模块仅关注参考周围的一小部分关键采样点。 可变形的DETR可以比DETR（尤其是在小物体上）获得更好的性能，训练时间减少10倍。 在COCO基准上进行的大量实验证明了我们方法的有效性。 执照 该项目是根据。 变更日志 有关主要更改的详细日志，请参见 。 引用可变形DETR 如果您发现可变形DETR在您的研究中很有用
Deformable DETR源码解读
weixin_43702653的博客
08-04 6854
Deformable DETR源码解读
Deformable DETR
记录
10-31 5788
DETR提出了Query Based的端到端目标检测算法，把目标检测看成了一个集合预测的问题，巧妙避开目标检测中常用的Anchor和NMS的方法，具有实现简单、拓展性强的优点。训练周期长，相比faster rcnn慢10-20倍对小目标不友好。Deformable DETR分析了存在上述两个问题的原因，并做出改变以解决上述问题。
Deformable DETR算法原理
qq_52093995的博客
09-05 284
传统的DETR解决了YOLO中锚框机制以及NMS后处理手段，DETR实现了真正的端到端结构。但DETR训练时间较长和特征空间分辨率有限，原始的DETR不能输入特别大的图像，Transformer注意力机制的限制（输入图像转换为序列后维度过大，注意力机制的计算量会显著增加），因此提出可变形DETR。可变形卷积在稀疏的特征空间中可以关注到想要关注的区域，对每个特征进行注意力偏移，偏移到更为重要的特征，但缺乏元素关系的建模机制。因此将可变性卷积和transformer结合到一起。
深度学习bev感知算法概述
09-21
【深度学习BEV感知算法概述】 深度学习BEV（Bird’s-Eye-View）感知算法是一种先进的技术，它主要用于自动驾驶和智能交通系统中，通过融合多种传感器数据，如毫米波雷达、激光雷达（LiDAR）点云和相机图像，构建出...
Deformable-DETR代码学习笔记
athrunsunny的博客
05-14 2199
其中的大部分内容都是通用的，唯一的区别在于backbone中resnet输出的feature map，DETR输出的是[N,2048,H,W]维的tensor，而Deformable-DETR输出resnet最后三层的feature map，channel的维度分别为512，1024，2048，尺度分别除以8，16，32。Deformable-DETR代码基本沿用了DETR的工程，主要改了transformer部分的代码，输入的图像经过backbone以及数据进入encoder之前的部分内容可以参看。
PV-RCNN++网络结构和代码解析
NNNNNathan的博客
04-22 6411
1、前言 这篇文章废话不多说了，主要史帅基于PV-RCNN上面进行的改进，本文不会从头构建网络并进行解析，对于PV-RCNN不了解的小伙伴可以先去看我之前的文章。 PV-RCNN论文和逐代码解析（一）_NNNNNathan的博客-CSDN博客_pvrcnn代码复现1、前言当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND ....
【目标检测 DeformableDETR】通俗理解 DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION，值得一看。
零碎@流年絮语 的博客
03-19 2134
【目标检测 DeformableDETR】DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION
Deformable detr源码分析
qq_52053775的博客
08-31 1697
对于decoder 的query，首先初始化300*512为向量，分为300*256维的query和300*256的position 向量，将position向量经过。mask:创建一个与图像同样大小的mask，同时考虑到padding，对mask进行填充，然后对mask进行下采样，生成各层级特征图对应的mask。对300维的query,做相同的偏移，与经过偏移的ecoder的输出做Attention的计算。然后，对各层级的特征图进行展平，拼接成一个向量，并保留每个层级的特征图的索引。...
Deformable 可变形的DETR
吴建明wujianming_110117
03-15 1817
Deformable 可变形的DETR This repository is an official implementation of the paper Deformable DETR: Deformable Transformers for End-to-End Object Detection. 该存储库是论文《可变形DETR：用于端到端对象检测的可变形变压器》的正式实现。 https://github.com/fundamentalvision/deformable-detr Introducti
【Deformable DETR 论文+源码解读】Deformable Transformers for End-to-End Object Detection
热门推荐
qq_38253797的博客
11-21 2万+
deformable detr
【DETR】2、Deformable DETR | 使用多尺度可变形 attention 的方式来解决 DETR 收敛慢和小目标不好的问题
呆呆的猫的博客
10-26 4861
本文主要介绍 Deformable DETR
DEFORMABLE DETR学习笔记
charles_zhang_的博客
11-16 1904
DETR最近被提出，以消除在目标检测中需要许多手工设计的组件，同时展示良好的性能。但由于Transformer注意模块在处理图像特征映射时的局限性，其收敛速度慢，特征空间分辨率有限。为了缓解这些问题，我们提出了Deformable 的DETR，它的注意模块只关注参考点周围的一小部分关键采样点。Deformable 的DETR可以比DETR(特别是在小物体上)获得更好的性能，且训练时间少10倍。在COCO基准上的大量实验证明了我们方法的有效性。代码发布在。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Rex晚枫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值