ConvNeXt-Tiny
ConvNeXt-Tiny 是一种改进的卷积神经网络架构,其设计目的是在保持传统卷积神经网络优势的同时,借鉴了一些Transformer架构的成功经验。
ConvNeXt-Tiny 的优点
-
架构优化: ConvNeXt-Tiny 对经典ResNet架构进行了多种优化,包括调整卷积核大小、增加归一化层以及调整激活函数的使用。这些改进使得ConvNeXt-Tiny在保持计算效率的同时,能够提高模型的表示能力。
-
高效计算: ConvNeXt-Tiny 采用了更大范围的卷积核和较少的池化操作,这使得它在同样的计算预算下,能够捕捉到更丰富的特征信息,提高了模型的性能。
-
灵活性: 由于ConvNeXt-Tiny 保留了卷积神经网络的基本结构,因此可以容易地与现有的卷积神经网络基础设施兼容,易于部署和优化。
-
性能优越: 在多个基准测试中,ConvNeXt-Tiny 展示了优异的性能,特别是在图像分类任务中,能够与最先进的Transformer模型相媲美。
作为YOLO系列网络主干网络的可行性
YOLO(You Only Look Once)系列网络是一种用于目标检测的实时系统,其设计的一个关键点是速度和精度的平衡。以下是ConvNeXt-Tiny作为YOLO主干网络的可行性分析:
-
计算效率: ConvNeXt-Tiny 具有高效的计算特性,这对于实时目标检测任务至关重要。其优化的卷积架构可以在保证精度的同时,提供更快的推理速度。
-
特征提取能力: ConvNeXt-Tiny 的设计增强了特征提取的能力,特别是在捕捉图像细节方面。这对于目标检测任务非常重要,因为精确的特征提取是提高检测精度的基础。
-
兼容性: 由于ConvNeXt-Tiny 保留了传统卷积神经网络的基本结构,迁移到YOLO架构中相对简单,能够利用现有的优化方法和硬件加速。
-
模型大小与复杂度: ConvNeXt-Tiny 的模型大小和复杂度适中,这使得它可以在保持高检测精度的同时,不会大幅增加YOLO网络的计算负担。
替换ConvNeXt-Tiny(基于MMYOLO)
如果想要使用在 MMPretrain 中实现的主干网络,需要先安装 MMPretrain
##官方提供的安装命令
##如果安装不成功的可以考虑直接把压缩包下载下来进行安装
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .
OpenMMLab 2.0 体系中 MMYOLO、MMDetection、MMClassification、MMSelfsup 中的模型注册表都继承自 MMEngine 中的根注册表,允许这些 OpenMMLab 开源库直接使用彼此已经实现的模块。 因此用户可以在 MMYOLO 中使用来自 MMDetection、MMClassification、MMSelfsup 的主干网络,而无需重新实现。
假设想将'ConvNeXt-Tiny'作为 'yolov5' 的主干网络,则配置文件如下:
_base_ = './yolov5_s-v61_syncbn_8xb16-300e_coco.py'
# 导入 mmpretrain.models 使得可以调用 mmpretrain 中注册的模块
custom_imports = dict(imports=['mmpretrain.models'], allow_failed_imports=False)
checkpoint_file = 'https://download.openmmlab.com/mmclassification/v0/convnext/downstream/convnext-tiny_3rdparty_32xb128-noema_in1k_20220301-795e9634.pth' # noqa
deepen_factor = _base_.deepen_factor
widen_factor = 1.0
channels = [192, 384, 768]
model = dict(
backbone=dict(
_delete_=True, # 将 _base_ 中关于 backbone 的字段删除
type='mmpretrain.ConvNeXt', # 使用 mmcls 中的 ConvNeXt
arch='tiny',
out_indices=(1, 2, 3),
drop_path_rate=0.4,
layer_scale_init_value=1.0,
gap_before_final_norm=False,
init_cfg=dict(
type='Pretrained', checkpoint=checkpoint_file,
prefix='backbone.')), # MMCls 中主干网络的预训练权重含义 prefix='backbone.',为了正常加载权重,需要把这个 prefix 去掉。
neck=dict(
type='YOLOv5PAFPN',
deepen_factor=deepen_factor,
widen_factor=widen_factor,
in_channels=channels, # 注意:ConvNeXt-Tiny 输出的3个通道是 [192, 384, 768],和原先的 yolov5-s neck 不匹配,需要更改
out_channels=channels),
bbox_head=dict(
type='YOLOv5Head',
head_module=dict(
type='YOLOv5HeadModule',
in_channels=channels, # head 部分输入通道也要做相应更改
widen_factor=widen_factor))
)