DETR疑问与理解

已于 2023-08-16 09:53:35 修改
阅读量128 收藏 1
点赞数
分类专栏： 目标检测 文献阅读笔记 深度学习理论 文章标签： DETR
于 2023-08-16 09:38:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yang_daxia/article/details/132311770
版权
本文深入解析DETR目标检测模型，探讨其decoder中object queries的作用，二分图匹配的原因，以及为何能实现端到端检测。DETR通过encoder学习全局特征，decoder聚焦边缘特征，实现序列到序列的转换。
摘要由CSDN通过智能技术生成

1、DETR解读

用Transformer做object detection：DETR - 小小理工男的文章 - 知乎
https://zhuanlan.zhihu.com/p/267156624
视频解读：【DETR 论文精读【论文精读】】 https://www.bilibili.com/video/BV1GB4y1X72R/?share_source=copy_web&vd_source=a641d5fd36f9ab534df883ec3f1ed48f

2、decoder中objects query的作用。

确定总的框的个数，一个object query输出一个框的类别和分数。具体实现：先通过nn.embedding初始化，然后进行学习。

实现方式

https://github.com/facebookresearch/detr/blob/main/models/transformer.py#L57

self.query_embed = nn.Embedding(num_queries, hidden_dim)

detr代码forward过程


                

                
                
        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  yang_daxia
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
detr详解

				
			

			

				

					qq_35627757的博客
				

				

					10-06
					
					589
					
				

			

		

		

			
				
转载：用Transformer做object detection：DETR - 知乎


			
		

	



                

              
                



	

		

			

				
					
DETR的图片测试脚本

				
			

			

				

					06-21
				

			

		

		

			
				
DETR 官方只提供了训练代码，没有提供测试程序，网上也很少有用的教程，这个detr-test可以用来测试自已训练的图片，只需要导入自已的权重文件，加载图片，就可以显示出检测框和标签名

			
		

	



                


  
              

                


	

		

			

				
					
DETR（DEtection TRansformer）的初步摸索

					
热门推荐

				
			

			

				

					qq_35166730的博客
				

				

					06-11
					
					2万+
					
				

			

		

		

			
				
DETR是FIR提出的基于Transformers的端到端目标检测，没有NMS后处理步骤、没有anchor，结果在coco数据集上效果与Faster RCNN相当，且可以很容易地将DETR迁移到其他任务例如全景分割。
引用知乎大佬的画来说，这种做目标检测的方法更合理。

优点：
1、提出了一种目标检测新思路，真正的end-to-end，更少的先验（没有anchor、nms等）；
2、在coco上，准确率、运行效率与高度优化的faster R-CNN基本持平。在大目标上效果比faster  R-CNN好。
3

			
		

	





	

		

			

				
					
【DETR源码解析】三、Transformer模块

				
			

			

				

					qq_38253797的博客
				

				

					11-02
					
					3780
					
				

			

		

		

			
				
detr  transformer

			
		

	



		

			
		



	

		

			

				
					
DETR3D：将DETR用于3D目标检测任务

				
			

			

				

					3D视觉工坊
				

				

					11-11
					
					3498
					
				

			

		

		

			
				
作者 | 慕弋云子@知乎（已授权）原文 | https://zhuanlan.zhihu.com/p/430198800编辑 | 南山本文只用作学术讨论。转载需联系原作者。前几天被导师...

			
		

	





	

		

			

				
					
DETR目标检测新范式带来的思考

				
			

			

				

					qq_29462849的博客
				

				

					08-01
					
					1396
					
				

			

		

		

			
				
作者丨encounter1997@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/366938351编辑丨极市平台导读为了填补transformer在CV领...

			
		

	





	

		

			

				
					
还看不懂 DETR 的匈牙利损失函数？4个公式教你理解

					
最新发布

				
			

			

				

					Jiangnan_Cai的博客
				

				

					06-24
					
					1078
					
				

			

		

		

			
				
你还不理解 DETR 的匈牙利损失吗？4 个公式让你深入理解。

			
		

	





	

		

			

				
					
Meta-DETR: Image-Level Few-Shot Object Detection with Inter-Class Correlation Exploitation个人理解和待解决疑问

				
			

			

				

					qq_41064487的博客
				

				

					03-28
					
					4902
					
				

			

		

		

			
				
FSOD论文系列-meta-DETR研读笔记

			
		

	





	

		

			

				
					
DETR原理分析

				
			

			

				

					pytorch内部机制解读
				

				

					05-21
					
					737
					
				

			

		

		

			
				
文章的主要有两个关键的部分。
第一个是用transformer的encoder-decoder架构一次性生成 N个box prediction。其中N是一个事先设定的、比远远大于image中object个数的一个整数。
第二个是设计了bipartite matching loss，基于预测的boxex和ground truth boxes的二分图匹配计算loss的大小，从而使得预测的box的位置和类别更接近于ground truth

			
		

	





	

		

			

				
					
TensorRT部署DETR项目工程

				
			

			

				

					07-04
				

			

		

		

			
				
- **ONNX模型导出与简化**：`run_export_detr_onnx.sh` 脚本将PyTorch模型进一步导出为ONNX模型，并应用SIM（Shape Inference）简化，这有助于减少不必要的计算和内存占用。  - **TRT模型导出**：`run_export_trt_...

			
		

	





	

		

			

				
					
detr上板训练编译结果

				
			

			

				

					04-10
				

			

		

		

			
				
DETR（DEtection TRansformer）是Facebook AI Research团队提出的一种新颖的物体检测框架，它引入了Transformer架构来处理图像中的物体检测问题。...理解和掌握这些知识点对于在实际项目中成功应用DETR至关重要。

			
		

	





	

		

			

				
					
DETR:DEtection TRansformer 

				
			

			

				

					07-10
				

			

		

		

			
				
DETR，是首次将Transformer运用于目标检测，实现了transformer在CV界能够完成下游任务，该资源包含DETR全部代码，训练代码、测试代码、全部调通，无需修改，直接运行；coco数据集，API曲线、训练权重、测试权重等，...

			
		

	





	

		

			

				
					
README_DETR-标注.pdf

				
			

			

				

					12-23
				

			

		

		

			
				
DETR-标注.pdf  DETR（Detection Transformer）是一种基于Transformer架构的目标检测算法，由Facebook AI研究院提出。DETR的出现，标志着目标检测领域从传统的基于规则的方法迈入了基于深度学习的新时代。  DETR的...

			
		

	





	

		

			

				
					
图像生成发展起源：从VAE、VQ-VAE、扩散模型DDPM、DETR到ViT、Swin transformer

				
			

			

				

					结构之法 算法之道
				

				

					04-30
					
					2万+
					
				

			

		

		

			
				
2018年我写过一篇博客，叫：《》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如随着2019 CenterNet的发布，特别是2020发布的DETR(End-to-End Object Detection with Transformers)之后，自此CV迎来了生成式下的多模态时代但看这些模型接二连三的横空出世，都不用说最后爆火的GPT4，便可知不少CV同学被卷的不行。

			
		

	





	

		

			

				
					
对比学习Contrastive Learning

				
			

			

				

					yang_daxia的博客
				

				

					12-21
					
					2万+
					
				

			

		

		

			
				
对比学习是一种常用的自监督学习方法。

核心思想：把正样本距离拉近，正样本与负样本距离拉远。（类似度量学习中的margin, 但是对比学习为正负样本分类，无margin概念）

方式：通过一个正样本，以及k个负样本进行对比学习，研究表明K越大越好，可以取几万个。

优化问题：对于一个正样本，需要和k个负样本做分类，使模型分清楚哪些是正样本，哪些是负样本，用交叉熵即可。如下图

   



经典方法：

memory bank:把所有样本的logits存起来，计算loss

MoCo：用一个qu...

			
		

	





	

		

			

				
					
CTCloss详解

				
			

			

				

					yang_daxia的博客
				

				

					05-27
					
					7350
					
				

			

		

		

			
				
1.映射规则:



案例:



2. ctcloss

计算所有可以映射为输出路径的概率总和:枚举方法计算量太大, 所以采用DP:





一共三种情况:

1.

PPT:

https://docs.google.com/presentation/d/12gYcPft9_4cxk2AD6Z6ZlJNa3wvZCW1ms31nhq51vMk/pub?start=false&loop...

			
		

	





	

		

			

				
					
pytorch只加载预训练模型中的部分参数及冻结部分参数

				
			

			

				

					yang_daxia的博客
				

				

					08-26
					
					6951
					
				

			

		

		

			
				
说明
比如我需要训练车牌检测模型, 采用retinanet, 结构为bacnbone-fpn-retinanethead. 准备在coco数据集上预训练. 但是coco数据集有81类, 车牌只有几类. 预训练完以后, retinanethead部分, 由于类数目尺寸不匹配, 所以希望只加载bacnbone以及fpn部分的参数.
保存的checkpoints本质上为一个字典, 所以只需要把head部...

			
		

	





	

		

			

				
					
Class-Balanced Loss Based on Effective Number of Samples解决类别不平衡loss

				
			

			

				

					yang_daxia的博客
				

				

					09-24
					
					4887
					
				

			

		

		

			
				
github:https://github.com/vandit15/Class-balanced-loss-pytorch/blob/master/class_balanced_loss.py

本文用于解决样本类别不平衡问题, 尤其是数据是长尾分布的情况.

本文核心概念为, 有效采样数.En



那么某一类别有效采样数多, 起loss权重应该小, 即和En成反比,

所以类别权重只要乘以...

			
		

	





	

		

			

				
					
yolo与DETR的优缺点

				
			

			

				

					06-12
				

			

		

		

			
				
3. **可解释性强**：由于没有复杂的后处理步骤，DETR的决策过程更容易理解和解释。  **缺点：** 1. **计算资源消耗大**：Transformer的自注意力机制使得DETR的计算成本较高，不适合实时应用或资源有限的环境。 2. **...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
yang_daxia

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值