【Deep Snake】DeepSnakeforReal-TimeInstanceSegmentation

DeepSnake是一种结合深度学习的实时实例分割方法,基于轮廓检测。它在Kins, Sbd数据集上取得最佳成绩,运行速度达32.3fps。通过学习改进的蛇算法,DeepSnake使用CNN预测轮廓点并迭代优化,以准确捕捉物体边界。" 131033721,1430994,深入理解Linux:用户、组与12位权限模型,"['Linux', '服务器', '运维']
摘要由CSDN通过智能技术生成

在这里插入图片描述

浙江大学 CVPR 2020 oral

paper

code


从论文题目就可以看出论文要做的事情:实时的实例分割。方法,就是利用snake algorithm,但是这里结合深度学习,进而表述为Deep snake

overview


本文使用基于轮廓(contour-based)的deep snake方法,其中,论文提出自己的做法(Innovationcirclular convolution来更好取捕捉contour信息。将整个方法步骤分为2个阶段: initial contour proposalcontour deformation

最终论文的结果:可以在Cityscapes, Kins and Sbdatasets上获得了最好的成绩,且real-time(32.3fps, 512x512 images on 1080Ti GPU)。

Related work


现在有许多的pixel-wise分割方法,同样也有另一种形状表达:object contour

  • 轮廓表达:这个方法用在实例分割上也有很长一段历史了,可追溯到1988年Kass的论文Snakes整体思想:给定一个初始的轮廓,之后利用snakes algorithm来迭代的调整轮廓到物体的边界,这个迭代优化的过程就是不断优化一个energy functional,能量函数指的是轮廓能量图能量的总和(一般只能达到局部最优)
  • 近来也有利用contour去表达目标的实时分割方法,但是效果同pixel-wise仍有和的那差距。
  • CVPR2019的一篇论文Fast interactive object annotation with curve-gcn,论文也使用了Snake algorithm向object boundary调整初始contour(将contour视为graph,并且使用graph convolutional network去预测offset)。做到的结果就已经很好了,且很快。所以本文算是对Snakes: Active contour modelsFast ineractive object annotation with curve-gcn的上层工作啦。大致步骤如下:

在这里插入图片描述

Detail


  • Learning-based snake algorithm

    • 对于Deep snake,给定contour作为输入,contour的表达则用N个顶点(vertices) { X i ∣ i = 0 , 1 , 2 , . . . N }
  • 1
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: Deep Snake是一种用于实时实例分割的算法。它基于深度学习技术,通过对图像中的每个像素进行分类,实现对目标物体的精确分割。Deep Snake算法具有高效性和准确性,可以应用于许多领域,如自动驾驶、医学影像分析等。 ### 回答2: DeepSnake是一个用于实时实例分割的新型神经网络模型。与传统的基于卷积神经网络(CNN)的实例分割方法不同,DeepSnake使用自适应的密集曲线组件,来更好地关注目标对象的形状特征,从而实现更精确的分割结果。 DeepSnake的设计基于一种称为“变形回归”的曲线回归方法。该方法使用两个CNN分支,来分别处理图像区域和曲线参数,然后将它们组合起来进行端到端的训练。其中,图像分支出自用于目标检测任务的ResNet,而曲线分支则采用了U-Net结构。 DeepSnake的优点在于可以克服目标形状多样性和大小变化等问题,能够适应各种不同的数据集,并且在计算效率上具有很高的实时性。与一些竞争的实例分割算法相比,DeepSnake在准确率和速度上都有不错的表现。在PASCAL VOC 2012和COCO 2017数据集上测试,DeepSnake的性能超过了相同条件下的大多数算法,同时具有更低的计算成本。 总之,DeepSnake为实时实例分割任务提供了一种创新的方法,可以应用于许多领域,如智能监控、自动驾驶和机器人导航等。 ### 回答3: Deep Snake是一种用于实时实例分割的新型神经网络架构,由来自华盛顿大学的研究团队开发。与目前主流的神经网络架构Mask R-CNN相比,Deep Snake的优势在于能够更加准确地分割物体,同时在速度和计算资源消耗方面表现更好。 具体来说,Deep Snake使用了一种名为“蛇形控制器”的新型机制来协调具有各自目标的多个神经元。这种机制使得网络在提取图像中物体的轮廓信息时更加准确。Deep Snake还采用了特殊的分组卷积层,用于在不同的尺度上提取特征,以更好地分割物体。 此外,Deep Snake还可以使用相对较少的内存和计算资源,快速运行实例分割任务。研究者使用COCO数据集进行了实验,结果表明Deep Snake在准确率和速度方面都优于Mask R-CNN。在单个Nvidia 1080Ti GPU上,Deep Snake可以实现每秒5.7帧的实时实例分割,准确率高达33.6%。 总的来说,Deep Snake是一种非常有潜力的神经网络架构,可用于实时实例分割。它不仅可以提高准确性,还可以节省计算资源和实现更快的运行速度。未来,深度学习的研究者将继续探索和改进这种架构,以满足不断发展的实时实例分割需求。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值