RTdetr ecoder和decoder部分pytorch复现代码链接见文末
1.初始化策略与源码有所差异,使用过程中可以根据自己的需求进行更换!
2.代码经过一条一条的debug,本身没有bug,并且是依据作者源码用pytorch实现,但是在进行数据预处理时,需要保证每张图片标签不为空,否则会报错。如果您需要处理相关情况,需要自己思考策略。源码中作者没有考虑标签为空的情况。
3.本代码没有复现分割部分内容
4.代码中,后处理输出顺序进行了调整,您可以完美嵌入YOLO的代码中,进行map的计算
1.概述
目前以大名鼎鼎的YOLO为代表的基于CNN的实时监测网络需要NMS进行后处理,导致不能很好的优化网络,并且网络不够健壮,从而导致检测器的推理速度出现延迟。研究者也分析了Anchor-based和Anchor-free的YOLO的性能,发现Anchor并不是影响实时监测的关键要素,而NMS后处理彩色。
DETR很好的解决了后处理对于模型的限制,却受限于Transformer巨大的计算量,无法发挥实时监测性。
因此,作者想要重构detr,使其具有实时性。研究者发现,虽然多尺度特征的引入有利于加速训练收敛和提高性能,但它也能显著增加输入编码器的序列的长度。因此,Transformer编