Mask guide matting via progressive refienment network(2020,trimap)

Mask guide matting via progressive refienment network(2020,trimap)

• 网络结构：
  • Unet结构，resnet34 添加ASPP,
  • 主要思想是协调高低层特征的学习，主要提出了PRM方式去学习，对于每一层的alpha matte输出，都有一个监督信号，按照alpha的值在0-1的时候，将其位置设为1，用于表示仍然需要学习的区域，当alpha的值为0或者1时，将其位置设为0，表示已经学好的位置，
  • 实际使用的是步长为8，4，1的特征图进行alpha matte预测，
    损失函数：
  • 损失函数为alpha的L1损失， composition 损失，拉普拉斯损失，因为使用了3个不同尺度的特征图预测，因此每层都进行loss计算
  • 优于前景颜色预测与alpha matte预测一同输出，降低了matting的表现，因为RAB会破坏语义信息，
    
• 训练方式：
  • 数据增强：随机组合两个前景目标，随机resize，随机插入，随机仿射变换，颜色变化
  • 数据增强RAB：随机选取一个alpha matte，对前景与背景图像进行融合，提高训练数据的多样性与为前景提供准确的颜色标签（训练前景颜色预测的时候使用）
  • 随机抠图512x512，中心为未知区域，扣取的图像与ms coco进行组合，
  • 引导扰动：为了对于不同来源于不同质量的图，提出多种引导扰动在训练的时候，
    1、对mask进行扰动，通过gt在0-1上进行随机二值，然后在随机用1-30的核进行膨胀腐蚀，
    2、对数据进行扰动，cutmask 源于cutmix，随机选择1/4–1/2图像大小区域，将两个随机图像进行填写，提高模型鲁邦性
    3、对内部的自引导mask进行扰动，对stride为8的mask进行1-30随机膨胀，stride为4的mask在1-25进行随机扩张，测试时候固定扩展倍数，8为15，4为7.
  • 训练前5000步，使用的是stride4与1的输出进行监督，当10000步时，使用引导扰动进行随机训练。
• 实验结果：