Semantic Segmentation任务
需要区分到图中每一点像素点,而不仅仅是矩形框框住了。但是同一物体的不同实例不需要单独分割出来。
Instance Segmentation任务
相对目标检测的边界框,实例分割可精确到物体的边缘;相对语义分割,实例分割需要标注出图上同一物体的不同个体(羊1,羊2,羊3…)
U2Net
显著性目标检测
六路损失,loss累积
U2-Net网络的设计允许具有丰富多尺度特性和相对较低的计算和内存成本低 深层架构。该结构只建立在RSU块上,没有使用任何特性分类的预训练主干网络,因此是灵活的,可适应不同的工作环境,性能损失很小。
Panorama Segmentation任务
全景分割任务是语义分割和实例分割的结合。跟实例分割不同的是,实例分割只对图像中的object进行检测,并对检测到的object进行分割,而全景分割是对图中的所有物体包括背景都要进行检测和分割。
Matting任务
MODNet:无需绿幕的实时人像matting网络
关于实时人像matting的文章。
当前对人像matting的研究主要围绕两点:
- 不使用trimap情况下提高精度
- 实时与准确性兼顾
trimap,是一种静态图像抠图算法,将给定图像进行粗略划分,即将给定的图像划分为前景、背景和待求未知区域。
作者充分利用GroundTruth的信息,将模型学习分为三个部分,分别为:语义部分,细节部分和融合部分。
- 在语义估计中:对high-level的特征结果进行监督学习,标签使用的是下采样以及高斯模糊后的GT,损失函数用的是l2-loss,用l2-loss可以学习到更soft的语义特征。
- 在细节预测中,结合了输入图像的信息和语义部分的输出特征,通过encoder-decoder对人像边缘进行单独地约束学习,用的是交叉熵损失函数。为了减少计算量,encoder-decoder结构较浅,同时除了的是原图下采样后的尺度。
- 在融合部分,把语义输出和细节输出拼起来后得到最终的alpha结果,这部分约束用的是L1损失。
参考链接
Animal Matting
论文提出了一个名为GFM的抠图模型,该模型可同时生成全局语义分割和局部alpha mask。同时论文也开源了第一个自然动物图像抠像数据集AM-2k,并设计了基于高分辨率背景数据集BG-20k的RSSN合成数据方法。
GFM网络结构如下:
参考链接