论文地址:[2103.10284] SG-Net:用于单阶段视频实例分割的空间粒度网络 (arxiv.org)
https://arxiv.org/abs/2103.10284
导言:
一、该算法之前,性能最好的VIS方法是Mask R-CNN
该算法通过添加跟踪分支来扩展两阶段Mask R-CNN,留下大量改进空间
二、本文提出了一种单阶段空间粒度网络SG-Net
与传统的两阶段方法相比,有4个优势
1)具有一阶段紧凑的架构, 每个任务头(检测、分割和跟踪)是相互依赖的,因此它们可以有效地共享特征并享受联合优化;
2)在每个检测实例的子区域上动态执行掩码预测,得到细粒度的高质量掩码;
3)每个任务预测都避免了使用昂贵的基于建议的RoI特征,从而大大降低了每个实例的运行时复杂度;
4)跟踪头部对目标的中心性运动进行建模,有效地增强了跟踪算法对不同目标外观的鲁棒性。
简介:
一、视频
实
例
分割
(VIS):
给
定
一个
视
频
帧
,
算
法
旨
在
同
时
执
行检测、分割
和
跟
踪
实
例
的
任
务。
二、开创性的工作MaskTrack R-CNN:
基本步骤:MaskTrack R-CNN遵
循
两
阶
段
范式,
因
为
它
扩
展
自
Mask R-CNN
。
MaskTrack RCNN首
先
使
用
来
自
Faster R-CNN
的
区
域
建
议
网络(RPN)
产
生
一
组
候
选
建
议
。
然
后
,
裁
剪
出
基
于
建 议的
感
兴
趣
区
域
(RoI)
特
征
,
并
将
其
输
入
到
每
个任
务头中
,
分别
预
测
边
界
框
、
实
例
掩
码
和
目
标
跟
踪
。
问题:
两
阶
段
范
式
可
能
会
遇
到
一些
问
题
。
首
先
,
两阶段
方
法
中
各
子
任
务
头
(
检
测
、
分割
、
跟
踪
)
难
以
共
享特征
,
给
网
络
架构
优
化
带
来麻
烦
;
其
次
,
裁
剪
的
RoI
特征被
调
整
为
统
一
大
小
的
补
丁
(
例
如
,
在
Mask R-CNN 中14
×
14
或
28
×
28
)
,
这
限
制
了
实
例
掩
码
的
输
出分辨
率
。
这
种
做
法
特
别
会
影
响
对
大
型
实
例
的
预
测
, 因为
它
们
需
要
更
高
的
分
辨
率
来
保
留
对
象
边
界
的
细
节
。
第三
,
候
选
建
议
是
冗
余
表
示
,
因
为
它
们
的
数
字
比
最
终预测
大
得
多
。
掩
码
头
和
跟
踪
头
必
须
重
复
编
码
基
于
建
议的RoI
特
征
以
进
行
最
终
预
测
。
具
体
来
说
,
掩
码
头
需
要一堆
卷
积
(
例
如
,
mask R-CNN
中
的
四
个
3
×
3
卷
积层)
,
以
获
得
足
够大
的
感
受
野
,
以
理
解
足
够
的
图
像
上下文。
因
此
,
推
理
运
行
时
间
在
很
大
程
度
上
取
决
于
视
频
帧上出
现
的
检
测
到
的
对
象
的
数
量
,
并
且
会
随
着
预
测
的
增加而
大大
降
低
。
新角度:将VIS中的检测、分割和跟踪这三个子任务都视为相互关联的问题,应相互考虑。
实例分割的早期模型BlendMask和CondInst:
优点:它 们 都 建 立 在FCOS框架上。与基于Mask r - cnn的方法相比,它们只使用全卷积网络(FCN)架构,这有助于避免RoI操作(即RoIpool、RoIAlign、裁剪和调整大小)。这种改 进显著地保留了特征图的分辨率并保留了掩码边界 的细节。此外,两种方法都实现了一个轻量级的掩模头,这使得它们在实时视频任务中具有很强的鲁棒性。
缺点:这两种方法都是在实例级别上分割对象, 而忽略了在对象上实现更细粒度的潜力。
研究动机:如何规避繁重的基于提案的两阶段方法,并为VIS任务找到一个灵活的解决方案。
主要贡献:
1)从一个新的角度来解决可视任务。设计了一种紧凑的单阶段方法SG-Net。该方法动态地将实例划分为子区域,并在每个区域上进行空间粒度的分割,从而将其命名为SG-Net。 与MaskTrack R-CNN相比,我们的方法实现了更有吸引力的分割行为,因为它可以丰富对象细节,并产生具有更准确边缘的掩模(如图1所示)。
![](https://i-blog.csdnimg.cn/blog_migrate/a6cad05ebeefaa2acdd865fedfc5ff44.png)
2) 该
方
法
是
无
建
议
的
、
高
效
的
。
删
除
建
议
使
我
们
能 够将
更
重
的
任
务分
配
给
掩
码
预
测
模
块
,
并
具
有
可承受
的
计
算
开
销
。
特
别
是
,
推
理
时
间
并
不
像
两
阶 段方
法
那
样
随
着
预
测
数
量
的
增
加
而
增
加
。
3)整个
架构
仅
由
卷
积
操
作
组
成
,
它
与
最
先
进 的单
阶
段
目
标检
测
器
FCOS
相
关
联
。
相
互
依
赖
地
有机
地
构
建
每
个任
务
头
,
使
它
们
可
以
有
效地共
享
特
征
并
享
受
联
合
优
化
。
4)跟
踪
头
通
过
模
拟
目
标
中
心
的
运
动
来
进
行
跟
踪
,
简 单有
效
。
与
MaskTrack R-CNN
相
比
,
所
提
出
的 跟踪
头
对
不
同
的目
标
形
状
和
大
小
以
及
外
观
变化
具 有更
强
的
鲁
棒
性
。
相关工作:
一、目标检测:
单阶段检测器可以通过避免生成候选框来实现更快的推理速度。然而,与两阶段方法相比,一 阶段方法在准确性方面通常较差。
最新的一阶段目 标检测方法(即FCOS 和CenterNet )证明了移除框锚点以简化检测流程的有效性。在不受任何预定义锚点限制的情况下,目标对象与其合适感受野的预测 特征自由匹配。与基于锚点的方法、FCOS 和CenterNet 相比,不仅提高了检测精度,而且 保持了较快的推理速度。
单阶
段
检
测
框
架
的
灵
活
性
有利于
实
例
分割
方
法
,
因
为
它
消
除
了
由
建
议
或
锚
操作引
起
的
计
算
开
销
。SG-Net
基
于
单
阶
段
FCOS
框
架
。
二、实例分割
主流
的
实
例
分割
方
法
遵
循
基 于Mask R-CNN
的
两
阶
段
范
式
。
这
些
方
法
严
重
依
赖
RoI
特
征
和
操
作
,
它
们
首
先
产
生
一
组
候
选建议
,
然
后
预
测
每
个
RoI
上
的
前
景
掩
码
。
最近
,
YOLACT
、
SipMask
和
BlendMask
基于Mask R-CNN
重
新
制
定
了
实
例
分割
管
道
。
YOLACT和SipMask
为
每
个
实
例
生
成
许
多
原
型
掩
码
,
并使用
整
个
实
例
的
单
个
系
数
将
它
们与
每
个
像
素
的
预
测相结
合
(YOLACT)
和
2
×
2
系
数
分别
为
实
例
的
每
个
子
区域(SipMask)
。
然
而
,
这
些
过
于
简
化
的
装
配
设计
可
能无法
实
现
物
体
特
征
的
最
优
表
示
。
类
似
地
,
BlendMask首先
预
测
每
个
实
例
的
基
本
掩
码
和
相
应
的
2D
注
意
力图,
然
后
将
它
们
混
合
在
一
起
以
进
行
最
终
预
测
。
由于BlendMask
直
接
在
实
例
级
执
行
分割
,
因
此
它对对
象细节
的
表
示
不
够
充
分
。
受
上
述
方
法
的
启
发
,
该方法
用
语
义
信
息
对对
象
的
空
间
尺
度
进
行
建
模
。
根
据
对象的
大
小
和
形
状
,
动
态
地
将
其
划分
为不
同
的
子
区
域
进行分割
,
以
提
高
掩
模
粒
度
。
三、多目标跟踪
最近
的
多
目
标
跟
踪
主
要
遵
循
基
于
检
测
的
跟
踪
范
式,
即
首
先
检
测
目
标
,
然
后
预
测
所
有
检
测的时
间
关
联
。
一些
方
法
使
用
运
动
先
验
,
如
卡
尔
曼
滤波或
光
流
关
联
检
测
到
的
边
界
框
。
其
他人
通
过
利
用
外
观
相
似
性
学
习
跟
踪
表
示
或
重
新
识别消
失
的
物
体
。SG-Net
的
跟
踪
也
遵
循
检
测
跟踪范
式
。
不
是
使
用
对
象
边
界
框
或
掩
码
作
为
跟
踪线索
,
而
是
通
过
其
中
心
跟
踪
对
象
的
运
动
,
这
是
FCOS
的
centerness
分
支
的
输
出
。
因
此
,
我
们
可
以
联
合
优化检
测
和
跟
踪
,
实
现
改
进
的
跟
踪
行
为
。
四、视频实例分割
大多数
VIS
方
法
遵
循
基
于
Mask R-CNN的
两
阶
段
范
式
。
虽
然
两
阶
段
模
式
直
观
简
单
,
但存在
几
个
性
能
瓶
颈
:
1)跨任务头的特征共享不足,难以实现网络体系结构的联合优化;
2)实例掩码的质量受到RoI操作(如缩放或池化)的限制;
3) RoI特征表示具有冗余性,推理速度在很大程度上受候选区域数量的影响。与两阶段的方法相比,SG-Net快速且只需一个阶段。掩码头是完全卷积的(没有RoI操作)和无建议框的(没有冗余RoI特征),因此可以在实现快速推理的同时产生高质量的实例掩码。SG-Net每个任务头都是相互依赖的,可以联合优化。
SG网
一、整体架构
SG-Net包
括
一个
特
征
提
取主干
,
一个
检
测
头
,
一个
掩
码
头
和
一个
跟
踪
头
。
我
们的
整
体
架构
如
图
2
所
示。骨干网采用ResNet和FPNs。利用fpn的{
P3
, P4
, P5
, P6
, P7}特
征
图
,
并应
用
不
同
的
功
能
模
块
来
完
成
不
同
的
子
任
务。检测采用原始的FCOS,它由分类,框回
归
,
中
心
分
支
组
成
。
在
t
时
,
我
们
将
i
th
对
象
的
检
测
表
示 为D
i
t = (c
i
t
, o
i
t
, b
i
t
)
,
,
其
中
c
i
t
∈ {
0
, ..., C
−
1
}
是
被
检
测
对 象的
类
,
o
i
t
∈
R
2
是
被
检
测
对
象
的
中
心
位
置
,
b
i
t
∈
R
4
是对象
边
界
框
。
二、Mask Head
三部分组成:1)空间注意力模块;2)掩模模块;3)混合模块。
空间
注意模块
:
空
间
注
意
力
模
块
将
对
象
边
界框划分
为
多
个
子
区
域
,
并
预
测
每
个
子
区
域
的
注
意
力
分
数
(
图
3
中
的
绿
色
区
域
)
。
使
用
实
例
感
知
连
接
将
边界框
信
息
{
b
1
, .., b
n
}
从
检
测
结
果
传
播
到
空
间
注
意
力
模块。
根
据
对
象
的
形
状
和
大
小
,
将
对
象
边
界
框
动
态
划分为r
1
×
r
2
子
区
r
1
, r
2
= min(6
, w/
50), min(6,h/50)
其中
w
和
h
分别
是
边
界
框
的
宽
度
和
高
度
,
数
字
50
以像素
为
单
位
。
我
们
没
有
在
BlendMask
]
中
将
特
征池化
到
3D
参
数
密
集
的
注
意
力
图
中
,
而
是
通
过
向
每个P
3
−
P
7
级
别
添
加
两个
3
×
3
卷
积
层
,
为
每
个
子
区域预
测
一
组
1D
注
意
力分
数
(
类
似
于
YOLACT
中
的
系数)
。
对
于
检
测
到
的
对
象
,
我
们
将
其
注
意
力分
数
定
义为A
=
{
a
j
∈
R
|
j
= 1
, ..., r
1
×
r
2
}
,
其
中
a
j
是
j
th
子
区
域的注
意
力分
数
。ya
掩码模块:
基掩
码
生
成
流
水
线
有
两个主
要
步
骤
:1)
提取和
准
备
FPNs
特
征
;2)
为
每
个
目
标
实
例
生
成
基
本
掩
码
。
混合模块:
将注意力分数和基本掩码作为输入,以产生最终的掩码。
三、Tracking Head
跟
踪
头
使
用
中
心
来
表
示
每
个
实
例
。