PortraitNet: Real-time Portrait Segmentation Network for Mobile Device阅读笔记

一、简介

1. 人像图像有着以下特征：

• 图片通常包含至少一个人，且该人脸区域至少占整个人像图片的10%；
• 人像通常具有模糊的边界和复杂的照明条件。

2.PortraitNet

        本文提出的PortraitNet采用轻量级的U-Net结构，在训练阶段有两个辅助损失（boundary loss和consistency constraint loss）来分别提高边界像素的精度和增强复杂光照环境下的鲁棒性。PortraitNet能够在iPhone 7上以30 FPS的速度处理224 × 224的RGB图像。

二、模型结构

        输入图片224*224，在由MobileNet-v2作为主干网络的编码器（a图绿色部分）对输入图片进行32倍下采样，在由D-Block（b图黄色部分）和反卷积（b图紫色部分）组成的解码器进行上采样来重建空间信息。

        其中，D-Block有两个分支，一个分支包含两个深度可分离卷积，另一个包含一个1×1个卷积以调整通道数。使用深度可分离卷积可以获得更高的运行速度。

三、两个辅助损失

        除了用来计算像素分类的mask loss，本文还有两个辅助损失boundary loss和consistency constraint loss。

1. boundary loss

        作者在解码器的最后一层并行添加了一个新的卷积层来进行边界预测。使用boundary loss可以学习到人像图像的关键特征，使得学习到的特征可以更好地用于分割（边缘分割）。

        使用传统的边界检测算法（如Canny算子），从手动标记的掩模ground truth生成边界的ground truth。同时边界只占据图像很小的部分，使用focal loss来避免样本不均衡，指导边界掩模的学习。

其中是交叉熵损失，是focal loss。

2. consistency constraint loss

        实践证明，具有更多信息的软标签可以有利于模型训练，本文提出了一种利用微小网络本身的数据增强的方法来生成软标签。

        经过变形增强的图片A，采用纹理增强得到A’， 经过网络分别得到热图B和B’，那么热图B和 B’理论上应该是相同的。然而，由于纹理增强方法，图像A’的质量比A差。所以，生成的B’要比B差。因此使用质量较高的热图B作为热图B’的软标签。

consistency constraint loss定义如下：

其中Lm′是用GT和B，B’得到的loss，Lc是B和B’之间计算的KL Loss。

四、实验

1. 采用数据增强获得更好的分割结果

2. 消融实验

2.1 Boundary loss

PortraitNet-M是只有segmentation loss（交叉熵损失），PortraitNet-B是有segmentation loss和boundary loss，PortraitNet-C是有segmentation loss和consistency constraint loss。可以看出，这两个辅助损失可以提高分割性能。

还提出了一个特定的度量标准来更好地评估模型在人像边界上的性能。

dis(x)表示像素x到人像边界的距离，σ表示下降率。

边界损失可以有效提高分割边界的精度。

2.2 Consistency constraint loss

可以看出，增加了Consistency constraint loss之后的PortraitNet-C在进行光照数据增强的数据集上的表现比没加nsistency constraint loss的PortraitNet-M好。

3. 准确性分析

BiSeNet添加了两个辅助损失的BiSeNet+准确性提高了。

4. 速度分析

PortraitNet在准确性和速度之间取得了良好的平衡。