目标检测最新SOTA模型D-FINE

2024年10月18号,中科大推出了 D-FINE,这是一款功能强大的实时物体检测器,通过重新定义 DETR 模型中的边界框回归任务实现了出色的定位精度。

摘要

D-FINE 包含两个关键组件:细粒度分布细化 (FDR) 和全局最优定位自蒸馏 (GO-LSD)。

  • FDR 将回归过程从预测固定坐标转变为迭代细化概率分布,从而提供细粒度的中间表示,显著提高定位精度。
  • GO-LSD是一种双向优化策略,它通过自蒸馏将定位知识从细化分布转移到较浅的层,同时还简化了较深层的残差预测任务。

此外,D-FINE 在计算密集型模块和操作中采用了轻量级优化,在速度和准确性之间实现了更好的平衡。具体来说,D-FINE-L / X 在 NVIDIA T4 GPU 上以 124 / 78 FPS 的速度在 COCO 数据集上实现了 54.0% / 55.8% 的 AP。在 Objects365 上进行预训练时,D-FINE-L / X 的 AP 达到 57.1% / 59.3%,超越了所有现有的实时检测器。此外,此文的方法显著提高了各种 DETR 模型的性能,AP 高达 5.3%,而额外参数和训练成本几乎可以忽略不计。

代码和预训练模型:https://github.com/Peterande/D-FINE
paper地址:D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution Refinement

### D-FINE与ONNX的关系 D-FINE作为一个假设中的框架或工具,在此背景下理解为一种用于特定领域(如金融、医疗或其他行业应用)的深度学习解决方案平台。当提到D-FINE使用ONNX进行模型推理或转换时,实际上是指借助ONNX作为中间表示来促进不同深度学习框架间的互操作性和优化。 #### 使用ONNX的优势 ONNX作为一种开放式的神经网络交换格式,允许不同的机器学习框架之间共享模型[^2]。这种特性使得像D-FINE这样的高级应用程序可以从多个源获取预训练好的模型,并将其无缝集成到自身的业务流程中去。具体来说: - **跨框架兼容性**:无论原始模型是在PyTorch还是TensorFlow等其他平台上构建的,都可以先转化为ONNX格式再导入到D-FINE环境中。 - **性能提升**:通过利用ONNX Runtime提供的高效执行引擎以及针对多种硬件设备的支持,可以在不牺牲精度的情况下加快推断速度。 #### 将模型转换为ONNX格式 要使D-FINE支持ONNX模型,通常需要经历以下几个方面的工作: 1. **准备阶段** - 确认目标模型已经过充分训练并且达到了预期效果; 2. **导出过程** - 对于Python环境下的常见DL库(比如PyTorch),可以直接调用内置函数将模型保存成`.onnx`文件;对于更复杂的场景,则可能需要用到专门设计的辅助脚本或者第三方工具链来进行定制化处理[^3]。 ```python import torch.onnx as onnx dummy_input = ... # 构造输入张量 torch_model = TheModelClass() # 加载已训练完毕的模型实例 input_names = ["actual_input_0"] + ["learned_%d" % i for i in range(16)] output_names = ["output"] onnx.export(torch_model, dummy_input, "model.onnx", verbose=True, input_names=input_names, output_names=output_names) ``` 3. **验证环节** - 完成上述步骤之后,应当仔细检查生成出来的ONNX文件是否正确表达了原生模型的行为特征,包括但不限于层结构、参数配置等方面的一致性测试。 #### 在D-FINE内运行ONNX模型 一旦拥有了合适的ONNX版本模型,就可以考虑如何让它们在D-FINE内部发挥作用了。这里的关键在于找到合适的方式加载这些外部资源并与现有组件对接起来。一般而言,这涉及到API级别的交互或者是直接嵌入式集成两种模式的选择。 - 如果采用前者的话,那么就需要确保所选方案具备良好的文档说明和技术社区支撑以便快速解决问题;而后者则更适合那些追求极致效率的应用场合——尽管前期投入较大但长远来看回报也更为可观。 最后值得注意的是,随着技术的发展进步,越来越多的企业级产品开始重视起对ONNX标准的支持程度,因此未来或许会有更多简便易行的办法可供尝试。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值