论文阅读: 1911.SINet

1911.09099：SINet: Extreme Lightweight Portrait Segmentation Networks with Spatial Squeeze Modules and Information Blocking Decoder

• SINet 侧重于在提升人像分割网络的速度。

网络结构

• 网络框架主要分为两部分：

  • 包含 空间压缩模块（spatial squeeze module）的编码器。

    • 空间压缩模块（spatial squeeze module）：
      • 在 shuffleNetV2 模块的基础上，在不同路径上使用不同尺度的池化操作压缩特征空间分辨率，提取不同感受野的特征来应对不同尺度的人像，减少计算延时。
      • 选择average pooling 而不是dilated convolution增大感受野，是因为后者会带来较大时延以及栅格效应(grid effects)。
      • 结构如下：
        • 

  • 包含 信息屏蔽机制（information blocking scheme）的解码器。

    • 信息屏蔽机制：
      • 是根据深层低分辨率特征预测的人像置信度，在融合浅层高分辨率特征时，屏蔽高置信度区域，只融合低置信度区域的浅层特征，避免引入无关的噪声。

  • 最终完整的网络结构如下：

    • 

性能

• 论文数据：SINet 在 EG1800 人像分割测试集的 MIOU 为 95.3%，但模型参数大小只有 86.9K，和 PortraitNet 相比减少 95.9% 的参数。
• 实际使用：真的很轻量级。information blocking 很轻但是精度一般。

---

人像分割论文SINet: Extreme Lightweight Portrait Segmentation Networks及其PyTorch实现
直播时各种背景是怎么实现的？聊一聊虚拟背景背后的技术