[论文笔记] ETHSeg 阅读笔记

ETHSeg: An Amodel Instance Segmentation Network and a Real-world Dataset for X-Ray Waste Inspection（CVPR 2022）

论文链接：论文链接
代码链接：github链接
主页：主页链接

摘要

• 动机：使用x-ray来进行垃圾的实例分割
• 现有方法：针对自然图片，而对于x光图片的特点是遮挡、穿透效应
• 本文方法：
  • 采用easy-to-hard的拆解策略（Easy-to-Hard Instance Segmentation Network（ETHSeg）），利用高置信度预测来指导高度重叠物体的分割
  • 采用全局结构指导模块获取上下文信息，来更好地捕捉穿透效应引起的复杂轮廓信息
• 本文局限：
  • 依赖X射线的穿透效应进行废物检查，具有低密度材料的物体在X射线图像中显得对比度低或透明，使得检查这些物体变得困难。
  • 分割小物体方面仍有困难

引言

• x光的特点
  • 首先，由于不同的材料对X射线的吸收程度不同，X射线图像中的颜色表示相应区域的厚度和材料类型
  • 其次，即使它们被遮挡，所有物体的边缘信息仍然可以很好地保留下来
    
    
• WIXray数据集样例（Waste Inspection X-ray Dataset）
  
  

方法

• 网络结构图（参考BCNet）
  

• BCNet

  • 组成：BCNet 由三部分组成：（a）带有 FPN的 backbone； (b) 一个 FCOS 检测器，用于预测bbox 作为 mask proposal； © 用于实例分割的双层 GCN 结构
  • 给定输入特征图 $\mathbf{X}\in R^{(HW)\times C}$，bilayer 结构中的 GCN 可以表示如下：
    
  • BCNet 中的第一个 GCN 层将 ROI 特征 $X_{roi}$ 作为输入，生成更新后的特征 $Z_0$，并推断遮挡物的轮廓和掩模。然后将更新的特征添加到 ROI 特征 $X_f=X_{roi}+Z_0$ 作为第二个 GCN 的输入，用来预测轮廓以及被遮挡物品的 mask

• Global structure guidance

  • 用于生成 FPN 上多个 level 特征图上的轮廓信息

• Easy and hard set grouping

  • bbox集合 B = { B 0 , B 1 … … , B N } ∈ R N × 5 B=\{B_0,B_1 ……,B_N\}\in R^{N×5} B={B0​,B1​……,BN​}∈RN×5，其中 N 是 NMS 之后的 bbox 数量，$B_i=[c_x,c_y,w,h,s]$ 是检测器中检测到的bbox。
  • 按照它们的置信度分数 $s$ 将它们分为两部分，其中 $B_{easy}$ 有 $N_e$ 个，$B_{hard}$ 有 $N_h$ 个

• Easy-to-hard segmentation

  • 处理 easy set ：使用实例分割头 $G_s$ 来处理 easy set 得到 M e = { M e i ∣ i = 0 , 1 , … … , N e } M_e=\{M_e^i|i=0,1,……,N_e\} Me​={Mei​∣i=0,1,……,Ne​}
    
  • 使用 easy set 辅助预测 hard set：对于 hard set ${\mathbf{X}}_h$ 中的第 j 个box，对掩码 P 执行 ROI-align 以获得 ${\mathbf{X}}_h^j$ 的像素对齐掩码 $P^j$，这个 mask-guided 注意力 ${\mathbf{A}}_g$ 可以如下定义：
    
  • 计算 hard set 中的掩码 M h = { M h j ∣ j = 0 , 1 , … … , N h } M_h=\{M_h^j|j=0,1,……,N_h\} Mh​={Mhj​∣j=0,1,……,Nh​} :
    

实验结果

• 检测和分割结果对比
• 不同模型使用相同检测结果进行分割