ETHSeg 阅读笔记
ETHSeg: An Amodel Instance Segmentation Network and a Real-world Dataset for X-Ray Waste Inspection(CVPR 2022)
论文链接:论文链接
代码链接:github链接
主页:主页链接
摘要
- 动机:使用x-ray来进行垃圾的实例分割
- 现有方法:针对自然图片,而对于x光图片的特点是遮挡、穿透效应
- 本文方法:
- 采用easy-to-hard的拆解策略(Easy-to-Hard Instance Segmentation Network(ETHSeg)),利用高置信度预测来指导高度重叠物体的分割
- 采用全局结构指导模块获取上下文信息,来更好地捕捉穿透效应引起的复杂轮廓信息
- 本文局限:
- 依赖X射线的穿透效应进行废物检查,具有低密度材料的物体在X射线图像中显得对比度低或透明,使得检查这些物体变得困难。
- 分割小物体方面仍有困难
引言
- x光的特点
- 首先,由于不同的材料对X射线的吸收程度不同,X射线图像中的颜色表示相应区域的厚度和材料类型
- 其次,即使它们被遮挡,所有物体的边缘信息仍然可以很好地保留下来
- WIXray数据集样例(Waste Inspection X-ray Dataset)
方法
-
网络结构图(参考BCNet)
-
BCNet
- 组成:BCNet 由三部分组成:(a)带有 FPN的 backbone; (b) 一个 FCOS 检测器,用于预测bbox 作为 mask proposal; © 用于实例分割的双层 GCN 结构
- 给定输入特征图
X
∈
R
(
H
W
)
×
C
\bold X\in R^{(HW)×C}
X∈R(HW)×C,bilayer 结构中的 GCN 可以表示如下:
- BCNet 中的第一个 GCN 层将 ROI 特征 X r o i X_{roi} Xroi 作为输入,生成更新后的特征 Z 0 Z_0 Z0,并推断遮挡物的轮廓和掩模。然后将更新的特征添加到 ROI 特征 X f = X r o i + Z 0 X_f = X_{roi} + Z_0 Xf=Xroi+Z0 作为第二个 GCN 的输入,用来预测轮廓以及被遮挡物品的 mask
-
Global structure guidance
- 用于生成 FPN 上多个 level 特征图上的轮廓信息
-
Easy and hard set grouping
- bbox集合 B = { B 0 , B 1 … … , B N } ∈ R N × 5 B=\{B_0,B_1 ……,B_N\}\in R^{N×5} B={B0,B1……,BN}∈RN×5,其中 N 是 NMS 之后的 bbox 数量, B i = [ c x , c y , w , h , s ] B_i=[c_x,c_y,w,h,s] Bi=[cx,cy,w,h,s] 是检测器中检测到的bbox。
- 按照它们的置信度分数 s s s 将它们分为两部分,其中 B e a s y B_{easy} Beasy 有 N e N_e Ne 个, B h a r d B_{hard} Bhard 有 N h N_h Nh 个
-
Easy-to-hard segmentation
- 处理 easy set :使用实例分割头
G
s
G_s
Gs 来处理 easy set 得到
M
e
=
{
M
e
i
∣
i
=
0
,
1
,
…
…
,
N
e
}
M_e=\{M_e^i|i=0,1,……,N_e\}
Me={Mei∣i=0,1,……,Ne}
- 使用 easy set 辅助预测 hard set:对于 hard set
X
h
\bold X_h
Xh 中的第 j 个box,对掩码 P 执行 ROI-align 以获得
X
h
j
\bold X^j_h
Xhj 的像素对齐掩码
P
j
P^j
Pj,这个 mask-guided 注意力
A
g
\bold A_g
Ag 可以如下定义:
- 计算 hard set 中的掩码
M
h
=
{
M
h
j
∣
j
=
0
,
1
,
…
…
,
N
h
}
M_h=\{M_h^j|j=0,1,……,N_h\}
Mh={Mhj∣j=0,1,……,Nh} :
- 处理 easy set :使用实例分割头
G
s
G_s
Gs 来处理 easy set 得到
M
e
=
{
M
e
i
∣
i
=
0
,
1
,
…
…
,
N
e
}
M_e=\{M_e^i|i=0,1,……,N_e\}
Me={Mei∣i=0,1,……,Ne}
实验结果
- 检测和分割结果对比
- 不同模型使用相同检测结果进行分割