【人人都是深度学习师】7行代码实现一个基于深度学习迁移学习的视频、图像分割功能

基础环境


基础环境使用镜像:registry.cn-hangzhou.aliyuncs.com/allen135681/easyml:ubuntu18.04-nvidia_cuda10.0-base-Miniconda3-py39_4.9.2_paddlepaddle2.0.1_paddlehub2.0.4_paddlenlp2.0.0rc10   pyin paddle

额外安装:

pip list|grep "paddle\|cv"
opencv-python      4.2.0.32
paddlehub          2.0.4
paddlepaddle       2.0.1

代码

hub install humanseg_server==1.2.1

humanseg_server_test.py


 http://nn.wenming.cn/wmcj/201511/t20151123_2140790.html 网上随意找的图片

图片视频语义分割 人像图像分割

import cv2
import paddlehub as hub
human_seg = hub.Module(name='humanseg_server')
im = cv2.imread('1.jpg')
res = human_seg.segment(images=[im], visualization=True, output_dir="image_segment_output") #visualization=True可以用于查看超分图片效果,可设置为False提升运行速度。
human_seg.video_segment('./1.mp4', save_dir="video_segment_output")
human_seg.save_inference_model('./MODEL')

图片和视频里的人像都被分割出来了。

图片视频语义分割 人像图像分割

图片视频语义分割 人像图像分割

 

 

 

 

分析
 

DeepLabv3+ 是Google DeepLab语义分割系列网络的最新作,其前作有 DeepLabv1, DeepLabv2, DeepLabv3。在最新作中,作者通过encoder-decoder进行多尺度信息的融合,同时保留了原来的空洞卷积和ASSP层, 其骨干网络使用了Xception模型,提高了语义分割的健壮性和运行速率,在 PASCAL VOC 2012 dataset取得新的state-of-art performance。该PaddleHub Module使用百度自建数据集进行训练,可用于人像分割,支持任意大小的图片输入。

高精度模型,适用于服务端GPU且背景复杂的人像场景, 模型结构为Deeplabv3+/Xcetion65, 模型大小为158M,网络结构如图:

其他

人体解析(Human Parsing)是细粒度的语义分割任务,其旨在识别像素级别的人类图像的组成部分(例如,身体部位和服装)。ACE2P通过融合底层特征,全局上下文信息和边缘细节,端到端地训练学习人体解析任务。该结构针对Intersection over Union指标进行针对性的优化学习,提升准确率。以ACE2P单人人体解析网络为基础的解决方案在CVPR2019第三届LIP挑战赛中赢得了全部三个人体解析任务的第一名。该PaddleHub Module采用ResNet101作为骨干网络,接受输入图片大小为473x473x3。

hub install ace2p==1.1.0
import paddlehub as hub
import cv2
human_parser = hub.Module(name="ace2p")
result = human_parser.segmentation(images=[cv2.imread('./2.jpg')],
                                   paths=None,
                                   batch_size=1,
                                   use_gpu=False,
                                   output_dir='ace2p_output',
                                   visualization=True)

模型介绍

 

 

 

参考


https://www.paddlepaddle.org.cn/hubdetail?name=humanseg_server&en_category=ImageSegmentation

https://www.paddlepaddle.org.cn/hubdetail?name=ace2p&en_category=ImageSegmentation

 

 

 

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Zda天天爱打卡

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值