Transformer又助力夺冠！LVIS 2021长尾分布实例分割冠军解决方案

最新推荐文章于 2024-06-08 09:42:01 发布
最新推荐文章于 2024-06-08 09:42:01 发布
阅读量816 收藏 6
点赞数
文章标签： 算法 计算机视觉 机器学习 人工智能 深度学习
原文链接：https://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247535369&idx=2&sn=7f1cc75d4d449df719885a25d688fadf&chksm=f9a13986ced6b090122a371b3f0bb6b46db9fb51ec0f07eea095bc024ad69f44104e370fece0&scene=126&&sessionid=0
版权

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

作者：fresher  |  已授权CVer转载（源：知乎）

https://zhuanlan.zhihu.com/p/427853229

本文介绍我们在ICCV 2021 LVIS Challenge Workshop上的冠军解决方案。

83f710b52e2a98bbcd2cc8c6abddd259.png

1. LVIS 2021竞赛简介

1.1 数据集

Large Vocabulary Instance Segmentation (LVIS)是一个实例分割的基准数据集。该数据集包含超过1000个类别和大约200万个高质量的mask标注。由于数据集中包含自然图像中的物体分布天然具有长尾属性，LVIS数据集将促进深度学习在图像分割领域的进一步发展。

1.2 评价指标

LVIS 2021与2020年的竞赛采用完全相同的训练数据，仅仅更换了竞赛的评价指标。由原本的mask AP改用为boundary AP。bbox AP通过计算预测bbox和GT bbox之间的IoU来判断预测正确与否，而mask AP是计算两个mask之间的IoU，boundary AP进一步改用mask的边缘条带区域来计算IoU，也就是说，boundary AP更加关注模型在边缘区域的表现。

a6b0589eea60646a1629e37fb6e15021.png

1.3 LVIS 2021 挑战

  • 长尾分布
    与COCO数据集显著不同的是，LVIS数据集呈现出长尾分布现象，就是说，LVIS数据集的类别样本严重不均衡，这往往会导致模型在尾部少样本类别上的表现较差。

20fdc3e7bf31336edbabc04d9d0c5aef.png 48bed3a84971ae9a2385b505f00616b2.png

  • 高质量mask和boundary预测
    LVIS除了具有长尾分布的特点之外，其标注mask还具有更高的精度和更好的边缘连续性，旨在促进开发mask预测质量更高的实例分割算法。在LVIS 2021挑战赛中，同时采用了boundary AP作为评价指标，这使得模型高质量mask和boundary预测成为比赛的难点之一。

e39928006e84aa177386b528e151fc6d.png

2. 解决方案介绍

在本次比赛中，FuXi-Fresher团队采用了经典的二阶段实例分割网络HTC，同时backbone部分也采用了更强的Swin Transformer。受CBNetv2算法的启发，团队还通过复合连接两个相同的Swin Transformer网络来进一步提高算法性能。在该Strong baseline基础上，进行了两方面的改进以分别应对长尾分布问题和更高质量mask预测问题。

2.1 Distribution Balanced

众所周知，长尾分布最简单的两类解决方法是数据重采样（re-sampling）和loss重加权（re-weighting），来强化尾部类别的学习，削弱长尾效应。在本次竞赛过程中，FuXi-Fresher团队同样从这两方面来设计解决方案。

  • Repeat factor sampling (RFS): RFS是一种image-level的重采样方法。按照下述计算流程，如果某个类别的频率 f(c)>oversample_thr，采样率=1，就不会被过采样；而如果某个类别的频率 f(c)<oversample_thr，包含该类别的图片的采样率就会大于1，会被多次重复采样。

6c09747beea2dba1fd73bf70ef0fe1b0.png

  • Balanced-CopyPaste：由于RFS是一种image-level的重采样技术，在重复采样包含尾部类别的图片时，会导致头部类别目标的混入（图片中同时包含多种类别的目标）。CopyPaste是从一张图中抠出mask部分对应的实例，然后随机粘贴到另一张图像。因此，采用copypaste这种object-level的数据增强方法可以更加灵活的采样尾部类别的目标。也就是说，我们可以有选择性地提高尾部类别目标的被粘贴概率而降低头部类别目标的被粘贴概率。

c8d405feadd1bf529a9b5045be44d155.png

  • Balanced Mosaic：Mosaic是把4张图片，通过随机缩放、随机裁减、随机排布的方式进行拼接。其优点是丰富了检测物体的背景和小目标，并且变相增大了batch size。由于mosaic生成的图像中，实例尺寸会相对减小，这将导致训练集和测试集之间的分布存在差异。因此，为了避免分布偏移，我们使用0.5的概率执行balanced mosaic。

ff198e2012b48694e65a5cee9ccc2b26.png

  • Seesaw Loss: 限制检测器在长尾分布数据上性能的一个关键原因是，施加在尾部类别上的正负样本梯度的比例是不均衡的，过多的负样本梯度容易导致尾部类别的置信度较低。而Seesaw Loss可以利用缓解因子Mij和补偿因子Cij动态抑制尾类样本的过度负梯度，同时补充对误分类样本的惩罚，避免误报。Seesaw Loss的数学表达如下：

3ee5a075dc87ccee7aa2888f9f9e70be.png

其中Sij是一个平衡系数，通过调节Sij可以达到放大或者缩小第i类施加在第j类上的负样本梯度，从而应对长尾分布问题。而Sij由减轻因子Mij（Mitigation Factor，减轻因子）和补偿系数Cij（Compensation Factor，补偿系数）相乘的到，其中Mij用来缓解尾部类别上过量的负样本梯度, Cij用来补充那些错误分类样本上的"惩罚"。

2.2 Mask and Boundary refinement

尽管我们的strong baseline性能已经取得了很大的提升，但是由于28x28 的mask特征尺寸和RoI Align采样操作，HTC模型生成的实例mask非常粗糙。因此，我们使用Refinmask head来替代HTC最后一个stage的mask head，以获得更高质量的mask预测。同时，我们也使用mask scoring来对mask预测进行重打分，而不是直接使用bbox head的分类置信度作为mask score。

  • Mask Scoring: 在经典的二阶段实例分割网络中，mask score与bbox score一致，均采用bbox head的分类置信度。然而，bbox head的分类置信度无法代表mask的质量，这会导致mask score和mask质量的误匹配。Mask Scoring通过新增MaskIoU head来自适应学习mask质量，而不仅仅依赖bbox head的分类置信度。

629e88ad4ebf5b00f139e64c87112271.png

  • RefineMask: RefineMask逐步整合细粒度特征，获得高质量的mask。参考MaskRCNN版本的Refinmask，我们最初用refinmask head替换了HTC的三个mask head。然而，这导致GPU内存和训练时间显著增加。为了平衡训练时间和准确性，我们最后只将最后一个Mask Head替换为Refinemask Head。另外，需要将bbox head的Loss 权重设置为2.0，以平衡bbox head和mask head之间的权重。

87ee240eec35f9c67acf3a59d559f3f7.png

3. 实验汇总

  • batch size: 16

  • lr: 0.0001(Swin) / 0.00005(CBNetV2)

  • epoch: 20

  • lr_schd: [16, 19]

3.1 Distribution Balanced and Strong Baseline

我们直接采用Swin-L作为初始Backbone，因为有些Trick在简单的Backbone上有效，但在较强的Backbone上不起作用。Table 1的第一行实验结果（weak baseline）直接达到了39.1%的Mask AP，直接超过了去年的第三名。采用 Balanced CopyPaste 和Balanced Mosaic 数据扩充之后，Mask AP分别提升了0.7%和1.0%，AP_r的提升更为显著，分别提升了3.9%和1.5%。采用更强的CBNetV2 backbone后，Mask AP进一步提高到43.1%(Strong Baseline)。

2ba538d007787a36ec7f555c37dd95cb.png

3.2 Mask and Boundary refinement

在Strong Baseline的基础上，算法紧接着引入refinemask和mask scoring。在下表中，第2行和第3行还使用了EMA、early stopping和FP32来进一步提高准确性。可以看出，结合EMA、early stopping、FP32和refinemask使mask AP提升了5%。进一步使用mask scoring后，mask AP在验证集上得到49.2的mask AP。

24e4316297a56a68b4671a54968c9998.png

3.3 测试阶段方案

  • Time Augment (TTA)：多尺度测试[(1600,1000)、(1600,1400)、(1800,1200)、(1800,1600)]+Flip

8c95600eb8b3194d52d071651600e58b.png

  • More Detections Per Image: 在LVIS 2021的比赛规则中，对每张图片的检出目标数没有限制。在下表中，通过增加每张图片的检出目标数，可以进一步提升精度。

2a0525c5d7a0ca99911f76955340a32c.png

  • 最终结果：该方案最终的模型应用了TTA，每幅图像1000个检出目标，最终在测试集上实现了48.1%的boundary AP。同时，该方案在APr, APc和APf上的精度近乎相等，这有效解决了长尾分布面临的尾部类别精度较差的问题。

4071284a86738157c4e3d68440340ef1.png

3.4 其他消融实验

  • Ablation of Refinemask：由于时间的限制，该方案只在Week Baseline上进行了Refinemask的消融实验。如下表所示，替换为Refinemask Head之后，Mask AP提升了1.1%。

486eeb145106079afed2475c893b0abd.png

  • Early Stopping and EMA：下图 (a)可视化了表3第一行strong baseline模型在LVIS验证集上的AP曲线。可以看出，APr和APf曲线反差很大。APr在epoch6到达峰值然后持续下降，APf则是直到epoch20才到达峰值。但是，epoch6和epoch20的mask AP非常接近。我们认为这是由长尾分布问题导致的APr/c/f分别在不同的时间达到收敛，然后过拟合。另外，考虑到strong baseline模型性能波动较大，该方案因此采用了指数移动平均(EMA)训练策略平滑模型权重。下图 (b)可视化了表3第2行模型的AP曲线。可以看出，epoch6的mask AP、APr/c/f均比epoch20效果好。最重要的是，APr、APc和APf之间的性能差距也得以减小。因此，方案最终采用了EMA和early stopping策略。

253d575940a0f2c68e0c76a203ecfe37.png 
ICCV和CVPR 2021论文和代码下载

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集

后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的两篇Transformer综述PDF
CVer-Transformer交流群成立
扫码添加CVer助手，可申请加入CVer-Transformer 微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。
一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加小助手微信，进交流群
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看455465377c170370e0c15eadc6a9ab99.gif

Amusi（CVer）
关注
transformers pipeline出现ConnectionResetError的解决方案
weixin_43178406的博客
11-27 5万+
本文主要介绍了transformers pipeline出现ConnectionResetError的解决方案，希望能对使用transformers的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
AttributeError: ‘FieldInfo‘ object has no attribute ‘required‘. Did you mean: ‘is_required‘?解决方案
热门推荐
weixin_43178406的博客
04-11 7万+
本文主要介绍了AttributeError: ‘FieldInfo’ object has no attribute ‘required’. Did you mean: ‘is_required’?解决方案，希望能对使用deepspeed的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
深度学习算法评价标准AP bbox bev 3d
如有侵权，请联系作者删除
09-07 6965
深度学习算法的检测指标 深度学习算法测试的数据集一般采用公开的数据集进行训练和测试，比如常用的KITTI数据集。 深度学习算法的检测指标通常由bbox、bev、3d、aos四个检测指标 上述四个检测指标的含义： bbox：2D检测框的准确率 bev：BEV视图下检测框的准确率 3d：3D检测框的准确率 aos：检测目标旋转角度的准确率 这篇博客介绍了SA-SSD算法的3D框指标计算的代码 上面图中给出car AP @0.7 0.7 0.7 和car AP @0.7 0.5 0.5。 car AP @0.7
KITTI 3D目标检测的评估指标
W1995S的博客
03-31 1万+
Car AP_R40@0.70, 0.50, 0.50: bbox AP:95.5675, 92.1874, 91.3088 bev AP:95.6500, 94.7010, 93.9918 3d AP:95.6279, 94.5680, 93.6853 aos AP:95.54, 91.98, 90.94 Pedestrian AP@0.50, 0.50, 0.50: bbox AP:65.0374, 61.3875, 57.8241 bev AP:60.1475, 54.9657, 51.17
LVIS 数据集
qq_40310050的博客
07-07 6035
LVIS长尾数据集简介
mmcls ClassBalancedDataset类详解
lh_lyh的博客
06-15 1584
mmcls ClassBalancedDataset类详解
21个深度学习开源数据集分类汇总
AbnerAI的博客
03-22 1983
GENKI-R2009a包含11159个图像，GENKI-4K包含4000个图像，分为“笑”和“不笑”两种，每个图片的人脸的尺度大小，姿势，光照变化，头的转动等都不一样，专门用于做笑脸识别。GENKI-SZSL包含3500个图像，这些图像包括广泛的背景，光照条件，地理位置，个人身份和种族等。UCF50 是一个由中佛罗里达大学发布的动作识别数据集，由来自 youtube 的真实视频组成，包含 50 个动作类别，如棒球投球、篮球投篮、卧推、骑自行车、骑自行车、台球、蛙泳、挺举、跳水、击鼓等。
基于swin_transformer算法实现了道路车道线实例分割python源码.zip
08-22
基于Swin_Transformer算法的道路车道线实例分割项目 是一个利用深度学习技术，特别是Swin Transformer模型，来实现道路图像中车道线的精确实例分割的项目。Swin Transformer是一种基于Transformer结构的模型，它在...
本科课设-基于swin_transformer实现了道路车道的实例分割python源码.zip
最新发布
09-18
本科课设-基于swin_transformer实现了道路车道的实例分割python源码.zip本科课设-基于swin_transformer实现了道路车道的实例分割python源码.zip本科课设-基于swin_transformer实现了道路车道的实例分割python源码....
CVPR2021 | 基于transformer的视频实例分割网络VisTR
迈微AI研习社 · 号主
03-30 2289
视频实例分割（VIS）是一项需要同时对视频中感兴趣的对象实例进行分类、分割和跟踪的任务。最近研究人员提出了一个新的基于Transformers的视频实例分割框架VisTR，它将VIS任务看作一个直接的端到端并行序列解码/预测问题。给定一个由多个图像帧组成的视频片段作为输入，VisTR直接输出视频中每个实例的掩码序列。其核心是一种新的、有效的instance sequence匹配与分割策略，它在序列级对实例进行整体监控和分割。VisTR从相似性学习的角度对实例进行分割和跟踪，大大简化了整个流程，与现有方法有很
根据json文件，可视化LVIS和COCO数据集的GroundTruth标签
qq_44858064的博客
11-03 1061
【代码】根据json文件，可视化LVIS和COCO数据集的GroundTruth标签。
探索大规模实例分割新天地 —— LVIS API深度解析与应用推广
gitblog_00068的博客
06-08 768
探索大规模实例分割新天地 —— LVIS API深度解析与应用推广 去发现同类优质开源项目:https://gitcode.com/ 在机器视觉领域，数据集的丰富性和多样性是推动技术进步的关键。LVIS（Large Vocabulary Instance Segmentation），以其独特的名字和深远的意义，在实例分割界掀起了一场革新风暴。LVIS，这个名字发音为“el-vis”，不仅仅是一个数...
关于数据集的总结
m0_56294205的博客
10-29 425
COCO数据集旨在提供一个丰富的、多样化的场景，包括各种常见和复杂的对象，以推动计算机视觉算法的研究和发展。因此，无论是提到MS COCO还是COCO数据集，它们指的都是同一个广泛使用的大规模计算机视觉数据集，用于目标检测、图像分割、关键点检测和图像描述等任务。它具有丰富多样的场景、多样性的目标类别和详细的标注信息，成为计算机视觉算法研究和评估的重要基准数据集。通过在LVIS数据集上进行研究，可以推动算法在多类别和多实例场景中的发展，并提供一个公开的基准用于比较不同算法的性能和效果。
Unrecognized configuration class ＜class ‘transformers_modules.chatglm2-6b.configuration_chatglm.解决方案
weixin_43178406的博客
12-10 5万+
本文主要介绍了Unrecognized configuration class for this kind of AutoModel: AutoModelForCausalLM.解决方案，希望能对使用chatglm的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
Error message “error:0308010C:digital envelope routines::unsupported“ 解决方案
weixin_43178406的博客
12-18 2万+
本文主要介绍了Error message “error:0308010C:digital envelope routines::unsupported” 解决方案，希望能对学习前端同学们有所帮助。 文章目录 1. 问题描述 2. 原因分析 3. 解决方案 3.1 方案一 3.2 方案二
计算机视觉：目标检测数据集简介、下载与转换
博学而笃志，切问而近思。
02-08 2564
计算机视觉：目标检测数据集简介、下载与转换
论文速递 && EMNLP2022 | 接受论文抢先看！！！（内含下载列表）
yinizhilianlove的博客
10-10 1644
关于EMNLP2022，最近有作者开始收到论文接受的通知。因此本文为大家整理了一波EMNLP2022接收论文供大家下载阅读。其中共计26篇，这里整理了24篇。
Instance Segmentation入门总结
A13120295的博客
12-21 3087
前一阵子好忙啊，好久没更新了。最近正好挖了新坑，来更新下。因为之前是做检测的，而目前课题顺道偏到了instance segmentation，这篇文章简单梳理一下从检测、分割结果到instance segmentation结果问题在哪里，以及已有的解决方案。 初见instance segmentation 分类、检测、分割是有天然的联系的：从目的来讲，三个任务都是为了正确的分类一张（...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值