SG-Net

论文地址：[2103.10284] SG-Net：用于单阶段视频实例分割的空间粒度网络 (arxiv.org)https://arxiv.org/abs/2103.10284

导言：

一、该算法之前，性能最好的VIS方法是Mask R-CNN

        该算法通过添加跟踪分支来扩展两阶段Mask R-CNN，留下大量改进空间

二、本文提出了一种单阶段空间粒度网络SG-Net

        与传统的两阶段方法相比，有4个优势

        1)具有一阶段紧凑的架构， 每个任务头(检测、分割和跟踪)是相互依赖的，因此它们可以有效地共享特征并享受联合优化;

        2)在每个检测实例的子区域上动态执行掩码预测，得到细粒度的高质量掩码;

        3)每个任务预测都避免了使用昂贵的基于建议的RoI特征，从而大大降低了每个实例的运行时复杂度;

        4)跟踪头部对目标的中心性运动进行建模，有效地增强了跟踪算法对不同目标外观的鲁棒性。

简介：

一、视频 实 例 分割 (VIS)： 给 定 一个 视 频 帧 ， 算 法 旨 在 同 时 执 行检测、分割 和 跟 踪 实 例 的 任 务。

二、开创性的工作MaskTrack R-CNN:

        基本步骤：MaskTrack R-CNN遵 循 两 阶 段 范式， 因 为 它 扩 展 自 Mask R-CNN 。 MaskTrack RCNN首 先 使 用 来 自 Faster R-CNN 的 区 域 建 议 网络(RPN) 产 生 一 组 候 选 建 议 。 然 后 ， 裁 剪 出 基 于 建 议的 感 兴 趣 区 域 (RoI) 特 征 ， 并 将 其 输 入 到 每 个任 务头中 ， 分别 预 测 边 界 框 、 实 例 掩 码 和 目 标 跟 踪 。

       

        问题： 两 阶 段 范 式 可 能 会 遇 到 一些 问 题 。

        首 先 ， 两阶段 方 法 中 各 子 任 务 头 ( 检 测 、 分割 、 跟 踪 ) 难 以 共 享特征 ， 给 网 络 架构 优 化 带 来麻 烦 ;

        其 次 ， 裁 剪 的 RoI 特征被 调 整 为 统 一 大 小 的 补 丁 ( 例 如 ， 在 Mask R-CNN 中14 × 14 或 28 × 28 ) ， 这 限 制 了 实 例 掩 码 的 输 出分辨 率 。 这 种 做 法 特 别 会 影 响 对 大 型 实 例 的 预 测 ， 因为 它 们 需 要 更 高 的 分 辨 率 来 保 留 对 象 边 界 的 细 节 。

        第三 ， 候 选 建 议 是 冗 余 表 示 ， 因 为 它 们 的 数 字 比 最 终预测 大 得 多 。 掩 码 头 和 跟 踪 头 必 须 重 复 编 码 基 于 建 议的RoI 特 征 以 进 行 最 终 预 测 。 具 体 来 说 ， 掩 码 头 需 要一堆 卷 积 ( 例 如 ， mask R-CNN 中 的 四 个 3 × 3 卷 积层) ， 以 获 得 足 够大 的 感 受 野 ， 以 理 解 足 够 的 图 像 上下文。 因 此 ， 推 理 运 行 时 间 在 很 大 程 度 上 取 决 于 视 频 帧上出 现 的 检 测 到 的 对 象 的 数 量 ， 并 且 会 随 着 预 测 的 增加而 大大 降 低 。

        新角度：将VIS中的检测、分割和跟踪这三个子任务都视为相互关联的问题，应相互考虑。

        实例分割的早期模型BlendMask和CondInst：

        优点：它 们 都 建 立 在FCOS框架上。与基于Mask r - cnn的方法相比，它们只使用全卷积网络(FCN)架构，这有助于避免RoI操作(即RoIpool、RoIAlign、裁剪和调整大小)。这种改 进显著地保留了特征图的分辨率并保留了掩码边界 的细节。此外，两种方法都实现了一个轻量级的掩模头，这使得它们在实时视频任务中具有很强的鲁棒性。

        缺点：这两种方法都是在实例级别上分割对象， 而忽略了在对象上实现更细粒度的潜力。

        研究动机：如何规避繁重的基于提案的两阶段方法，并为VIS任务找到一个灵活的解决方案。

        主要贡献：

        1）从一个新的角度来解决可视任务。设计了一种紧凑的单阶段方法SG-Net。该方法动态地将实例划分为子区域，并在每个区域上进行空间粒度的分割，从而将其命名为SG-Net。 与MaskTrack R-CNN相比，我们的方法实现了更有吸引力的分割行为，因为它可以丰富对象细节，并产生具有更准确边缘的掩模(如图1所示)。

        2） 该 方 法 是 无 建 议 的 、 高 效 的 。 删 除 建 议 使 我 们 能 够将 更 重 的 任 务分 配 给 掩 码 预 测 模 块 ， 并 具 有 可承受 的 计 算 开 销 。 特 别 是 ， 推 理 时 间 并 不 像 两 阶 段方 法 那 样 随 着 预 测 数 量 的 增 加 而 增 加 。

        3）整个 架构 仅 由 卷 积 操 作 组 成 ， 它 与 最 先 进 的单 阶 段 目 标检 测 器 FCOS 相 关 联 。 相 互

依 赖 地 有机 地 构 建 每 个任 务 头 ， 使 它 们 可 以 有 效地共 享 特 征 并 享 受 联 合 优 化 。

        4）跟 踪 头 通 过 模 拟 目 标 中 心 的 运 动 来 进 行 跟 踪 ， 简 单有 效 。 与 MaskTrack R-CNN 相 比 ， 所 提 出 的 跟踪 头 对 不 同 的目 标 形 状 和 大 小 以 及 外 观 变化 具 有更 强 的 鲁 棒 性 。

相关工作：

        一、目标检测：

        单阶段检测器可以通过避免生成候选框来实现更快的推理速度。然而，与两阶段方法相比，一 阶段方法在准确性方面通常较差。

        最新的一阶段目 标检测方法(即FCOS 和CenterNet )证明了移除框锚点以简化检测流程的有效性。在不受任何预定义锚点限制的情况下，目标对象与其合适感受野的预测 特征自由匹配。与基于锚点的方法、FCOS 和CenterNet 相比，不仅提高了检测精度，而且 保持了较快的推理速度。        

        单阶 段 检 测 框 架 的 灵 活 性 有利于 实 例 分割 方 法 ， 因 为 它 消 除 了 由 建 议 或 锚 操作引 起 的 计 算 开 销 。SG-Net 基 于 单 阶 段 FCOS 框 架 。

        二、实例分割

        主流 的 实 例 分割 方 法 遵 循 基 于Mask R-CNN 的 两 阶 段 范 式 。 这 些 方 法 严 重 依 赖 RoI 特 征 和 操 作 ， 它 们 首 先 产 生 一 组 候 选建议 ， 然 后 预 测 每 个 RoI 上 的 前 景 掩 码 。

        最近 ， YOLACT 、 SipMask 和 BlendMask 基于Mask R-CNN 重 新 制 定 了 实 例 分割 管 道 。 YOLACT和SipMask 为 每 个 实 例 生 成 许 多 原 型 掩 码 ， 并使用 整 个 实 例 的 单 个 系 数 将 它 们与 每 个 像 素 的 预 测相结 合 (YOLACT) 和 2 × 2 系 数 分别 为 实 例 的 每 个 子 区域(SipMask) 。 然 而 ， 这 些 过 于 简 化 的 装 配 设计 可 能无法 实 现 物 体 特 征 的 最 优 表 示 。 类 似 地 ， BlendMask首先 预 测 每 个 实 例 的 基 本 掩 码 和 相 应 的 2D 注 意 力图， 然 后 将 它 们 混 合 在 一 起 以 进 行 最 终 预 测 。 由于BlendMask 直 接 在 实 例 级 执 行 分割 ， 因 此 它对对 象细节 的 表 示 不 够 充 分 。

        受 上 述 方 法 的 启 发 ， 该方法 用 语 义 信 息 对对 象 的 空 间 尺 度 进 行 建 模 。 根 据 对象的 大 小 和 形 状 ， 动 态 地 将 其 划分 为不 同 的 子 区 域 进行分割 ， 以 提 高 掩 模 粒 度 。

        三、多目标跟踪

        最近 的 多 目 标 跟 踪 主 要 遵 循 基 于 检 测 的 跟 踪 范 式， 即 首 先 检 测 目 标 ， 然 后 预 测 所 有 检 测的时 间 关 联 。 一些 方 法 使 用 运 动 先 验 ， 如 卡 尔 曼 滤波或 光 流 关 联 检 测 到 的 边 界 框 。 其 他人 通

过 利 用 外 观 相 似 性 学 习 跟 踪 表 示 或 重 新 识别消 失 的 物 体 。SG-Net 的 跟 踪 也 遵 循 检 测 跟踪范 式 。

         不 是 使 用 对 象 边 界 框 或 掩 码 作 为 跟 踪线索 ， 而 是 通 过 其 中 心 跟 踪 对 象 的 运 动 ， 这 是 FCOS

的 centerness 分 支 的 输 出 。 因 此 ， 我 们 可 以 联 合 优化检 测 和 跟 踪 ， 实 现 改 进 的 跟 踪 行 为 。

        四、视频实例分割

        大多数 VIS 方 法 遵 循 基 于 Mask R-CNN的 两 阶 段 范 式 。 虽 然 两 阶 段 模 式 直 观 简 单 ， 但存在 几 个 性 能 瓶 颈 :

        1)跨任务头的特征共享不足，难以实现网络体系结构的联合优化;

        2)实例掩码的质量受到RoI操作(如缩放或池化)的限制;

        3) RoI特征表示具有冗余性，推理速度在很大程度上受候选区域数量的影响。与两阶段的方法相比，SG-Net快速且只需一个阶段。掩码头是完全卷积的(没有RoI操作)和无建议框的(没有冗余RoI特征)，因此可以在实现快速推理的同时产生高质量的实例掩码。SG-Net每个任务头都是相互依赖的，可以联合优化。

SG网

        一、整体架构

        SG-Net包 括 一个 特 征 提 取主干 ， 一个 检 测 头 ， 一个 掩 码 头 和 一个 跟 踪 头 。 我

们的 整 体 架构 如 图 2 所 示。骨干网采用ResNet和FPNs。利用fpn的｛ P3 , P4 , P5 , P6 , P7｝特

征 图 ， 并应 用 不 同 的 功 能 模 块 来 完 成 不 同 的 子 任 务。检测采用原始的FCOS，它由分类，框回

归 ， 中 心 分 支 组 成 。 在 t 时 ， 我 们 将 i th 对 象 的 检 测 表 示 为D i t = (c i t , o i t , b i t ) , ， 其 中 c i t ∈ { 0 , ..., C − 1 } 是 被 检 测 对 象的 类 ， o i t ∈ R 2 是 被 检 测 对 象 的 中 心 位 置 ， b i t ∈ R 4 是对象 边 界 框 。

         二、Mask Head

        三部分组成：1)空间注意力模块;2)掩模模块;3)混合模块。

        空间 注意模块 : 空 间 注 意 力 模 块 将 对 象 边 界框划分 为 多 个 子 区 域 ， 并 预 测 每 个 子 区 域 的 注 意 力

分 数 ( 图 3 中 的 绿 色 区 域 ) 。 使 用 实 例 感 知 连 接 将 边界框 信 息 ｛ b 1 , .., b n ｝ 从 检 测 结 果 传 播 到 空 间 注 意 力 模块。 根 据 对 象 的 形 状 和 大 小 ， 将 对 象 边 界 框 动 态 划分为r 1 × r 2 子 区 r 1 , r 2 = min(6 , w/ 50), min(6,h/50) 其中 w 和 h 分别 是 边 界 框 的 宽 度 和 高 度 ， 数 字 50 以像素 为 单 位 。 我 们 没 有 在 BlendMask ] 中 将 特 征池化 到 3D 参 数 密 集 的 注 意 力 图 中 ， 而 是 通 过 向 每个P 3 − P 7 级 别 添 加 两个 3 × 3 卷 积 层 ， 为 每 个 子 区域预 测 一 组 1D 注 意 力分 数 ( 类 似 于 YOLACT 中 的 系数) 。 对 于 检 测 到 的 对 象 ， 我 们 将 其 注 意 力分 数 定 义为A = { a j ∈ R | j = 1 , ..., r 1 × r 2 } ， 其 中 a j 是 j th 子 区 域的注 意 力分 数 。ya

        掩码模块：

        基掩 码 生 成 流 水 线 有 两个主 要 步 骤 :1) 提取和 准 备 FPNs 特 征 ;2) 为 每 个 目 标 实 例 生 成 基 本 掩 码 。

        混合模块：

        将注意力分数和基本掩码作为输入，以产生最终的掩码。

        三、Tracking Head

         跟 踪 头 使 用 中 心 来 表 示 每 个 实 例 。