像素级图像任务

Semantic Segmentation任务

需要区分到图中每一点像素点,而不仅仅是矩形框框住了。但是同一物体的不同实例不需要单独分割出来。
在这里插入图片描述

Instance Segmentation任务

相对目标检测的边界框,实例分割可精确到物体的边缘;相对语义分割,实例分割需要标注出图上同一物体的不同个体(羊1,羊2,羊3…)
在这里插入图片描述

U2Net

显著性目标检测
六路损失,loss累积
在这里插入图片描述
U2-Net网络的设计允许具有丰富多尺度特性和相对较低的计算和内存成本低 深层架构。该结构只建立在RSU块上,没有使用任何特性分类的预训练主干网络,因此是灵活的,可适应不同的工作环境,性能损失很小。

Panorama Segmentation任务

全景分割任务是语义分割和实例分割的结合。跟实例分割不同的是,实例分割只对图像中的object进行检测,并对检测到的object进行分割,而全景分割是对图中的所有物体包括背景都要进行检测和分割。
在这里插入图片描述

Matting任务

MODNet:无需绿幕的实时人像matting网络

关于实时人像matting的文章。
当前对人像matting的研究主要围绕两点:

  1. 不使用trimap情况下提高精度
  2. 实时与准确性兼顾
    trimap,是一种静态图像抠图算法,将给定图像进行粗略划分,即将给定的图像划分为前景、背景和待求未知区域。
    在这里插入图片描述

在这里插入图片描述

作者充分利用GroundTruth的信息,将模型学习分为三个部分,分别为:语义部分,细节部分和融合部分。

  • 在语义估计中:对high-level的特征结果进行监督学习,标签使用的是下采样以及高斯模糊后的GT,损失函数用的是l2-loss,用l2-loss可以学习到更soft的语义特征。
  • 在细节预测中,结合了输入图像的信息和语义部分的输出特征,通过encoder-decoder对人像边缘进行单独地约束学习,用的是交叉熵损失函数。为了减少计算量,encoder-decoder结构较浅,同时除了的是原图下采样后的尺度。
  • 在融合部分,把语义输出和细节输出拼起来后得到最终的alpha结果,这部分约束用的是L1损失。
    参考链接

Animal Matting

论文提出了一个名为GFM的抠图模型,该模型可同时生成全局语义分割和局部alpha mask。同时论文也开源了第一个自然动物图像抠像数据集AM-2k,并设计了基于高分辨率背景数据集BG-20k的RSSN合成数据方法。
GFM网络结构如下:
在这里插入图片描述
参考链接

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值