【EfficientDet】论文解读

论文链接:

https://arxiv.org/abs/1911.09070

可用代码链接:(下面这个代码有可能会缺东西,记得从他给的readme的其他工程中寻找)

keras:https://github.com/xuannianz/EfficientDet

EfficientDet: Scalable and Efficient Object Detection

Google Brain 团队的三位 Auto ML 大佬 Mingxing Tan, Ruoming Pang, Quoc V. Le 在 CVPR 2020 发表一篇文章 EfficientDet: Scalable and Efficient Object Detection,代码已经开源到了 Github

这篇工作可以看做是中了 ICML 2019 Oral 的 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks 扩展,从分类任务扩展到检测任务(Object Detection)。

众所周知,神经网络的速度和精度之间存在权衡,而 EfficientDet 是一个总称,可以分为 EfficientDet D1 ~ EfficientDet D7,速度逐渐变慢,但是精度也逐渐提高。

从下图中可以看出,EfficientDet-D7 的性能非常的惊人:在 326B FLOPS,参数量 52 M的情况下,COCO 2017 validation 数据集上取得了 51.0 的 mAP,state-of-the-art 的结果。和 AmoebaNet + NAS-FPN 相比,FLOPS 仅为其十分之一的情况下取得了更好的结果。

这篇文章的主要贡献点是 BiFPN,Compound Scaling 两部分,会在下面一一介绍。

BiFPN

CVPR 2017 的 FPN 指出了不同层之间特征融合的重要性,并且以一种比较简单,Heuristic 的方法把底层的特征乘两倍和浅层相加来融合。之后人们也试了各种别的融合方法,比如 PANet 先从底向上连,再自顶向下连回去;M2Det 在连的时候加入 skip-connection; Libra-RCNN 先把所有feature 都汇聚到中间层,然后再 refine。

总之上述都是一些人工连连看的设计,包含 Conv,Sum,Concatenate,Resize,Skip Connection 等候选操作。很明显使用哪些操作、操作之间的顺序是可以用 NAS 搜的。进入 Auto ML 时代之后,NAS-FPN 珠玉在前,搜到了一个更好的 neck 部分的结构。

本文的作者基于下面的观察结果/假设,进一步进行了优化:

  1. 作者观察到 PANet 的效果比 FPN ,NAS-FPN 要好,就是计算量更大;
  2. 作者从 PANet 出发,移除掉了只有一个输入的节点。这样做是假设只有一个输入的节点相对不太重要。这样把 PANet 简化,得到了上图 (e) Simplified PANet 的结果;
  3. 作者在相同 level 的输入和输出节点之间连了一条边,假设是能融合更多特征,有点 skip-connection 的意味,得到了上图 (f) 的结果;
  4. PANet 只有从底向上连,自顶向下两条路径,作者认为这种连法可以作为一个基础层,重复多次。这样就得到了下图的结果(看中间的 BiFPN Layer 部分)。如何确定重复几次呢,这是一个速度和精度之间的权衡,会在下面的Compound Scaling 部分介绍。

BiFPN 相对 FPN 能涨 4 个点,而且参数量反而是下降的,如下表所示。

Cross-Scale Connections

此外,作者还提出,之前从FPN 开始普遍采用的,一个特征先 Resize ,再和另一层的特征相加的方式不合理。因为这样假设这两层的特征有了相同的权重。从更复杂的建模角度出发,应该每一个 feature 在相加的时候都要乘一个自己的权重。这样 weighted 的方式能涨 0.4,如下表所示:

weigjted 的时候,权重理论上要用 softmax 归一化到和为1,但由于 softmax 的指数运算开销比较大,作者简化为一个快速的方式 (Fast normalized fusion),其实就是去掉了 softmax 的指数运算,在 GPU 上能快 30%,性能微微掉一点,如下表所示:

总结一下 BiFPN 部分,是在 PANet 的基础上,根据一些主观的假设,做了针对性的化简,得到了参数量更少,效果更好的连接方式。

Compound Scaling

下面介绍的 Compound Scaling 部分,可以说是 Mingxing Tan 大佬的拿手好戏。 Model Scaling 指的是人们经常根据资源的限制,对模型进行调整。比如说为了把 backbone 部分 scale up,得到更大的模型,就会考虑把层数加深, Res50 -> Res101这种,或者说比如把输入图的分辨率拉大。

EfficientNet 在 Model Scaling 的时候考虑了网络的 width, depth, and resolution 三要素。而 EfficientDet 进一步扩展,把 EfficientNet 拿来做 backbone,这样从 EfficientNet B0 ~ B6,就可以控制 Backbone 的规模;neck 部分,BiFPN 的 channel 数量、重复的 layer 数量也可以控制;此外还有 head 部分的层数,以及 输入图片的分辨率,这些组成了 EfficientDet 的 scaling config 。

从 EfficientDet D0 到 D7 的 “丹方” 如下表所示:

按照这个 “丹方” 可以复现这篇工作,但是这个“丹方”怎么来的作者没有详细说。 这里面有非常非常多的超参数,比如 BiFPN 的 channel 数量的增长的公式为

 

从 EfficientDet D0 到 D7 在 COCO 上的 mAP 结果如下表所示,可以说是吊打其他方法的存在:

结论

这篇 paper 的介绍就告一段落了,个人感觉这篇 paper 虽然性能很好,但是设计的时候基于经验法则、难以解释的参数有很多。

自己修改过一个简化版本的

检测的总流程

MBConv

SEBlock

参考博客:

https://baijiahao.baidu.com/s?id=1651514751262272881&wfr=spider&for=pc

https://zhuanlan.zhihu.com/p/93241232

https://zhuanlan.zhihu.com/p/94163443

`EfficientDet0` 和 `EfficientDet1` 是基于 EfficientNet 的目标检测模型系列中的两个变体。EfficientDet 是一种高效的目标检测框架,结合了 EfficientNet(作为主干网络)和 BiFPN(双向特征金字塔网络),通过在计算资源和精度之间取得平衡来实现高效的性能。 以下是关于 `EfficientDet0` 和 `EfficientDet1` 的详细解释和代码示例: --- ### 1. **什么是 EfficientDet?** EfficientDet 是 Google 提出的一种高效目标检测框架,它通过以下方式优化性能: - **可伸缩性架构**:通过统一的缩放规则调整模型的深度、宽度和分辨率。 - **BiFPN(双向特征金字塔网络)**:增强多尺度特征融合能力。 - **EfficientNet 主干网络**:利用 EfficientNet 的高效设计作为特征提取器。 EfficientDet 系列包括多个版本(从 D0 到 D7),每个版本在复杂度和性能上有所不同。 --- ### 2. **EfficientDet0 和 EfficientDet1 的区别** | 参数 | EfficientDet0 | EfficientDet1 | |------------------|-----------------------|-----------------------| | 输入分辨率 | 512x512 | 640x640 | | 主干网络 | EfficientNet-B0 | EfficientNet-B1 | | BiFPN 层数 | 3 | 4 | | BiFPN 通道数 | 64 | 88 | | 模型复杂度 | 较低 | 较高 | | 推理速度 | 更快 | 较慢 | | 精度 | 较低 | 较高 | --- ### 3. **加载 EfficientDet 模型的代码示例** 使用 `tensorflow` 和 `keras` 加载 EfficientDet 模型的代码如下: ```python import tensorflow as tf import keras # 安装 efficientdet 库 !pip install -U efficientdet from efficientdet import get_efficientdet_config, EfficientDetModel def load_efficientdet_model(model_name): """ 加载 EfficientDet 模型。 参数: - model_name: 模型名称,例如 'efficientdet_d0' 或 'efficientdet_d1' 返回: - 加载的模型 """ # 获取配置 config = get_efficientdet_config(model_name) config.num_classes = 90 # COCO 数据集类别数 config.image_size = config.image_size # 设置输入图像大小 # 创建模型 model = EfficientDetModel(config=config, name=model_name) return model # 加载 EfficientDet-D0 和 EfficientDet-D1 模型 model_d0 = load_efficientdet_model('efficientdet_d0') model_d1 = load_efficientdet_model('efficientdet_d1') print("EfficientDet-D0 模型加载完成") print("EfficientDet-D1 模型加载完成") ``` --- ### 4. **解释** 1. **模型选择**: - `EfficientDet-D0` 是最简单的版本,适合资源受限的环境。 - `EfficientDet-D1` 在复杂度和精度上比 D0 更高,但需要更多的计算资源。 2. **输入分辨率**: - `EfficientDet-D0` 的输入分辨率为 512x512。 - `EfficientDet-D1` 的输入分辨率为 640x640。 3. **主干网络**: - `EfficientDet-D0` 使用 EfficientNet-B0 作为主干网络。 - `EfficientDet-D1` 使用 EfficientNet-B1 作为主干网络。 4. **应用场景**: - 如果需要快速推理且对精度要求不高,可以选择 `EfficientDet-D0`。 - 如果需要更高的精度且可以接受更长的推理时间,可以选择 `EfficientDet-D1`。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值