Deep Watershed Transform for Instance Segmentation阅读笔记

最新推荐文章于 2024-05-30 00:40:40 发布

FLY

最新推荐文章于 2024-05-30 00:40:40 发布

阅读量1k

点赞数 3

分类专栏：实例分割文章标签：实例分割

本文链接：https://blog.csdn.net/qq_38356387/article/details/86772374

版权

本文介绍了将深度学习与传统分水岭变换相结合的实例分割方法，通过学习能量下降方向避免过分割问题。该方法在Cityscapes数据集上表现优于现有技术，适用于自动驾驶和场景理解等领域。网络结构包括方向网络和分水岭变换网络，通过预训练和端到端微调得到高质量实例分割。然而，方法对支离实例和共享遮挡边界的物体分割存在挑战。

摘要由CSDN通过智能技术生成

论文链接：https://arxiv.org/abs/1611.08303

简介

文章属于将原图和语义分割图作为输入的方法，使用语义分割图来筛选图像中相关前景区域。文章结合了传统的分水岭算法和深度学习算法，生成能量图，能量图中的每一个实例对应一个能量盆地，然后，文章再单个能级执行切割，以直接生成与实例对应的组件。文章方法有几个关键优势：它可以轻松地进行端到端的训练，并生成非常快速和准确的估算；文章方法不依赖于诸如RNN的迭代策略，无论实例数量，都具有恒定运行时间。
文章方法以两倍多的性能超越了在Cityscapes数据集实例分割任务的最佳模型。

实例分割相关工作

解决实例分割问题对机器人操纵或场景识别以及自动驾驶大有裨益。目前的一些实例分割方法大都使用复杂的管道如：物体提议[1,2,3]、条件随机场（CRF）[4,5]、RNN[6,7,8]或者模式匹配[9,28]。具体如下：
基于提议
[12]生成物体分割提议，并将它们合并成实例。[13]基于同样的思想，使用CNN和非极大值抑制选择提议区域。[14]进一步提出多物体提议解决了模糊场景下的物体支离。[3]使用深度堆叠神经网络提议实例边框，细化实例掩模并且分类实例类别。[1,2]使用深度CNNs生成分割提议，进一步细化成更好的分割边界。除此之外，[15]使用修改的R-CNN模型提议实例边界框，进一步获得实例分割。
深度结构模型（模式匹配）
[9]使用CNNs提取图片特征，为存在于实例中的每一个像素分配一个扇区标签，每一个实例周围有八个扇区。进而使用模式匹配机制联合实例中心提议和像素组成最终实例。
循环网络
[6]使用CNN进行特征提取，然后使用RNN为逐个实例生成标签。
CNN
[16]使用一个CNN产生多输出，同时预测实例数目、对应边框坐标和每个像素的类别得分，之后，将这些信息聚集，生成实例标签。除此之外，[17]提出了深度卷积神经网络，它学习目标的潜在形状，并且通过执行多个不受约束的推测步骤细化实例区域同时忽略其周围不属于该实例的像素。
提议+递归
[18]提出了一个全新的递归细化提议区域的方法。

分水岭变换

思想
分水岭变换是数学形态学的一种成熟算法，其思想直观:将灰度图像看成是地形图，凹凸不平具有许多盆地，从每个盆地底部开始灌水，并保证不同盆地间的水相互隔离，就能将图片分割成不同区域。与求梯度方法结合后，图片中的盆地对应的是灰度值变化较小（较为相同）的部分，而盆地间的高地分界对应着灰度变化较大的部分，即盆地对应实例，高地分界代表实例边界。其一维能量如图2第一行所示。