Real-Time实例分割DeepSnake使用篇

Real-Time实例分割DeepSnakeDeep Snake for Real-Time Instance Segmentationgit地址:DeepSnake使用DeepSnake模型对于任何一个深度学习模型来说都需要以下四部分信息:dataset,network,trainer和evaluator。dataset: 提供用于训练和测试的数据(data和target的数据格...
摘要由CSDN通过智能技术生成

《Deep Snake for Real-Time Instance Segmentation》

  这篇文章旨在记录一下我是如何搭建环境DeepSnake的,以及如何使用COCO数据集和自己的数据集训练实例分割模型,并进行测试的过程,具体原理在我的另一篇博客中。

作者:Sida Peng, Wen Jiang, Huaijin Pi, Xiuli Li, Hujun Bao, Xiaowei Zhou

CVPR 2020 oral

Subjects: Computer Vision and Pattern Recognition (cs.CV)

https://github.com/zju3dv/snake/

Agile Pioneer  

Preliminary

  对于任何一个深度学习模型来说都需要以下四部分信息:dataset,network,trainer和evaluator,这也是我们设计一个模型工程的组成部分。

  • dataset: 提供用于训练和测试的数据(data和target的数据格式)。
  • network: 模型的网络结构。
  • trainer: 定义损失函数和优化器用于训练。
  • evaluator: 定义衡量方法用于模型估计。

环境搭建

环境搭建参考1

  作者提供了一个环境搭建的文档:https://github.com/zju3dv/snake/blob/master/INSTALL.md但是我照着做一直没有编译成功,外部依赖的三个模块dcn_v2、extreme_utils和roi_align_layer,和作者沟通,作者说他使用gcc5.4.0进行编译的,大家可以用gcc5.4.0参照作者给出的环境搭建文档进行环境搭建。

环境搭建参考2

  由于按照作者提供的环境搭建过程中出现了问题,所以我自己搭建了一套环境,是可以成功运行的,具体的依赖list如下,和版本相关的我都注明了版本号,其余的运行如果缺少哪些库自行pip install或conda install安装即可:

  • CUDA - 10.1
  • cudnn - 7.6.0
  • python - 3.6
  • gcc & g++ - 7.3.0
  • pytorch - 1.2.0
  • torchvision - 0.4.0
  • opencv
  • imgaug
  • imageio
  • pycocotools
  • tqdm
  • yaml
  • tensorboardx

遇到的问题

环境问题:
Q: libbz2.so.1.0: cannot open shared object file: No such file or directory
A: 这个库在/usr/lib64下,如果你指定的版本和/usr/lib64下的软连接名称不一样,只需要在你能依赖的路径下再软连接一个你需要的名字即可。

Q: error trying to exec ‘cc1plus’: execvp
A:两种可能:1、你没有安装g++;2、你的gcc的版本和g++版本不相符合,检查一下。

COCO数据

COCO 训练

  1. 下载COCO 2017数据集,地址如下
    – train –
    1.1 http://images.cocodataset.org/zips/train2017.zip
    1.2 http://images.cocodataset.org/annotations/annotations_trainval2017.zip
    – va –
    1.3 http://images.cocodataset.org/zips/val2017.zip
    1.4 http://images.cocodataset.org/annotations/stuff_annotations_trainval2017.zip
    – test –
    1.5 http://images.cocodataset.org/zips/test2017.zip
    1.6 http://images.cocodataset.org/annotations/image_info_test2017.zip

  2. 修改数据路径:
    2.1 vi lib/datasets/dataset_catalog.py,把里面对应coco部分的数据和标注文件改为你自己的路径即可。

     'CocoTrain': {
         
            'id': 'coco',
            'data_root': 'data/coco/train2017',
            'ann_file': 'data/coco/annotations/instances_train2017.json',
            'split': 'train'
        },
        'CocoVal': {
         
            'id': 'coco',
            'data_root': 'data/coco/val2017',
            'ann_file': 'data/coco/annotations/instances_val2017.json',
            'split': 'test'
        },
        'CocoMini': {
         
            'id': 'coco',
            'data_root': 'data/coco/val2017',
            'ann_file': 'data/coco/annotations/instances_val2017.json',
            'split': 'mini'
        },
        'CocoTest': {
         
            'id': 
  • 9
    点赞
  • 44
    收藏
    觉得还不错? 一键收藏
  • 33
    评论
### 回答1: Deep Snake是一种用于实时实例分割的算法。它基于深度学习技术,通过对图像中的每个像素进行分类,实现对目标物体的精确分割。Deep Snake算法具有高效性和准确性,可以应用于许多领域,如自动驾驶、医学影像分析等。 ### 回答2: DeepSnake是一个用于实时实例分割的新型神经网络模型。与传统的基于卷积神经网络(CNN)的实例分割方法不同,DeepSnake使用自适应的密集曲线组件,来更好地关注目标对象的形状特征,从而实现更精确的分割结果。 DeepSnake的设计基于一种称为“变形回归”的曲线回归方法。该方法使用两个CNN分支,来分别处理图像区域和曲线参数,然后将它们组合起来进行端到端的训练。其中,图像分支出自用于目标检测任务的ResNet,而曲线分支则采用了U-Net结构。 DeepSnake的优点在于可以克服目标形状多样性和大小变化等问题,能够适应各种不同的数据集,并且在计算效率上具有很高的实时性。与一些竞争的实例分割算法相比,DeepSnake在准确率和速度上都有不错的表现。在PASCAL VOC 2012和COCO 2017数据集上测试,DeepSnake的性能超过了相同条件下的大多数算法,同时具有更低的计算成本。 总之,DeepSnake为实时实例分割任务提供了一种创新的方法,可以应用于许多领域,如智能监控、自动驾驶和机器人导航等。 ### 回答3: Deep Snake是一种用于实时实例分割的新型神经网络架构,由来自华盛顿大学的研究团队开发。与目前主流的神经网络架构Mask R-CNN相比,Deep Snake的优势在于能够更加准确地分割物体,同时在速度和计算资源消耗方面表现更好。 具体来说,Deep Snake使用了一种名为“蛇形控制器”的新型机制来协调具有各自目标的多个神经元。这种机制使得网络在提取图像中物体的轮廓信息时更加准确。Deep Snake还采用了特殊的分组卷积层,用于在不同的尺度上提取特征,以更好地分割物体。 此外,Deep Snake还可以使用相对较少的内存和计算资源,快速运行实例分割任务。研究者使用COCO数据集进行了实验,结果表明Deep Snake在准确率和速度方面都优于Mask R-CNN。在单个Nvidia 1080Ti GPU上,Deep Snake可以实现每秒5.7帧的实时实例分割,准确率高达33.6%。 总的来说,Deep Snake是一种非常有潜力的神经网络架构,可用于实时实例分割。它不仅可以提高准确性,还可以节省计算资源和实现更快的运行速度。未来,深度学习的研究者将继续探索和改进这种架构,以满足不断发展的实时实例分割需求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 33
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值