YOLOv9
- Motivation
1.1 研究发现模型在前向推理特征表示学习的过程有效信息会丢失即信息瓶颈问题和可逆函数研究
1.2 深度学习方法在设计目标函数和架构时,往往忽略了输入数据在前向传播过程中可能损失大量信息的问题,这被称为信息瓶颈(information bottleneck)
1.3 信息损失可能导致梯度信息不可靠,进而影响模型的预测准确性和训练效果。
1.4 现有的方法,如可逆架构、掩码建模和深度监督,虽然能够缓解信息瓶颈问题,但它们在训练和推理过程中存在一些缺点,如增加推理成本、错误关联数据、信息丢失等。 - Method
2.1程序化梯度信息 (Programmable Gradient Information, PGI):提出了PGI概念,通过辅助可逆分支生成可靠的梯度信息,以更新网络权重并保持目标任务所需的关键特征。
2.2通用高效层聚合网络 (Generalized Efficient Layer Aggregation Network, GELAN):设计了一种新的轻量级网络架构,基于梯度路径规划,使用传统的卷积操作,以提高参数利用效率。
2.3GELAN架构证实了PGI在轻量级模型上取得了优越的结果。 - Experiments
3.1在MS COCO数据集上验证了所提出的GELAN和PGI,实验结果表明GELAN仅使用传统的卷积操作就实现了比基于深度可分离卷积的设计更好的参数利用效率。
3.2PGI适用于从轻量级到大型的各种模型,能够获取完整信息,使得从头开始训练的模型能够达到比使用大型数据集预训练的现有最先进模型更好的结果。
3.3提出的YOLOv9在MS COCO数据集上进行的实验中,性能在各个方面都超过了现有的实时目标检测器。 - Conclusions
4.1PGI解决了信息瓶颈问题,并且适用于轻量级和深度神经网络,能够显著提高模型的准确性。
4.2GELAN是一种高效且轻量级的神经网络,对于目标检测任务,在不同的计算块和深度设置下都表现出强大且稳定的表现。
4.3结合PGI和GELAN设计的YOLOv9显示出强大的竞争力,其设计使得深度模型在减少参数数量和计算量的同时,仍然提高了在MS COCO数据集上的性能。
4.4论文的贡献包括理论上分析了现有的深度神经网络架构,设计了PGI和辅助可逆分支,并在实验中取得了优异的结果。此外,PGI的设计使得新的轻量级架构能够真正应用于日常生活中,并且GELAN的设计仅使用传统的卷积操作就实现了比基于最先进技术的深度可分离卷积设计更高的参数使用效率
图片来源网络
YOLO相关的研究:https://blog.csdn.net/yunxinan/article/details/103431338
DETRs
- Motivation
- Method
- Experiments
- Conclusions