人像分割 HumanSeg
本教程基于 PaddleSeg 提供高精度人像分割模型,从训练到部署的全流程应用指南,以及视频流人像分割、背景替换的实际效果体验。最新发布超轻量级人像分割模型,支持Web端、移动端场景的实时分割。代码链接
一、人像分割模型
HumanSeg 开放了在大规模人像数据上训练的三个人像模型,满足服务端、移动端、Web端多种使用场景的需求。
模型类型 | 适用场景 | Checkpoint | Inference Model |
---|---|---|---|
高精度模型 | 适用于服务端GPU且背景复杂的人像场景, 模型结构为Deeplabv3+/ResNet50, 输入大小(512, 512) | humanseg_server_ckpt | humanseg_server_inference |
轻量级模型 | 适用于移动端或服务端CPU的前置摄像头场景,模型结构为HRNet_w18_samll_v1,输入大小(192, 192) | humanseg_mobile_ckpt | humanseg_mobile_inference |
超轻量级模型 | 适用于Web端或移动端实时分割场景,例如手机自拍、Web视频会议,模型结构为优化的ShuffleNetV2,输入大小(192, 192) | humanseg_lite_ckpt | humanseg_lite_inference |
NOTE:
-
其中 Checkpoint 为模型权重,用于 Fine-tuning 场景。
-
Inference Model 为预测部署模型,包含
model.pdmodel
计算图结构、model.pdiparams
模型参数和deploy.yaml
基础的模型配置信息。 -
其中
Inference Model
适用于服务端的 CPU 和 GPU 预测部署,适用于通过 Paddle Lite 进行移动端等端侧设备部署。更多 Paddle Lite 部署说明查看 Paddle Lite文档
1.1 计算复杂度和参数量
模型类型 | Network | Input Size | FLOPS | Parameters |
---|---|---|---|---|
超轻量级模型 | ShuffleNetV2 | 192x192 | 121272192 (121M) | 137012 (137K) |
轻量级模型 | HRNet w18 small v1 | 192x192 | 584182656 (584M) | 1543954 (1.54M) |
高精度模型 | Deeplabv3+/ResNet50 | 512x512 | 114148802560 (114G) | 26789874 (26.8M) |
二、安装
2.1 安装PaddlePaddle
版本要求
-
PaddlePaddle >= 2.0.2
-
Python >= 3.7+
由于图像分割模型计算开销大,推荐在 GPU 版本的 PaddlePaddle 下使用 PaddleSeg。推荐安装 10.0 以上的 CUDA 环境。安装教程请见 PaddlePaddle官网。
2.2 安装 PaddleSeg 包
pip install paddleseg
2.3 下载 PaddleSeg 仓库
git clone https://github.com/PaddlePaddle/PaddleSeg
三、快速体验
以下所有命令均在 PaddleSeg/contrib/HumanSeg
目录下执行。
cd PaddleSeg/contrib/HumanSeg
3.1 下载 Inference Model
执行以下脚本快速下载所有 Inference Model
python export_model/download_export_model.py
3.2 下载测试数据
我们提供了 supervise.ly 发布人像分割数据集 Supervisely Persons, 从中随机抽取一小部分并转化成 PaddleSeg 可直接加载数据格式,同时提供了手机前置摄像头的人像测试视频 video_test.mp4
。通过运行以下代码进行快速下载:
python data/download_data.py
3.3 视频流人像分割
结合 DIS(Dense Inverse Search-basedmethod)光流算法预测结果与分割结果,改善视频流人像分割。
# 通过电脑摄像头进行实时分割处理
python video_infer.py \
--cfg export_model/shufflenetv2_humanseg_192x192_with_softmax/deploy.yaml
# 对人像视频进行分割处理
python video_infer.py \
--cfg export_model/deeplabv3p_resnet50_os8_humanseg_512x512_100k_with_softmax/deploy.yaml \
--video_path data/video_test.mp4
3.4 视频流背景替换
根据所选背景进行背景替换,背景可以是一张图片,也可以是一段视频。
# 通过电脑摄像头进行实时背景替换处理, 也可通过'--background_video_path'传入背景视频
python bg_replace.py \
--cfg export_model/shufflenetv2_humanseg_192x192_with_softmax/deploy.yaml \
--background_image_path data/background.jpg
# 对人像视频进行背景替换处理, 也可通过'--background_video_path'传入背景视频
python bg_replace.py \
--cfg export_model/deeplabv3p_resnet50_os8_humanseg_512x512_100k_with_softmax/deploy.yaml \
--background_image_path data/background.jpg \
--video_path data/video_test.mp4
# 对单张图像进行背景替换
python bg_replace.py \
--cfg export_model/deeplabv3p_resnet50_os8_humanseg_512x512_100k_with_softmax/deploy.yaml \
--background_image_path data/background.jpg \
--image_path data/human_image.jpg
NOTE:
视频分割处理时间需要几分钟,请耐心等待。
提供的模型适用于手机摄像头竖屏拍摄场景,宽屏效果会略差一些。
四、训练评估预测
4.1 下载预训练模型
执行以下脚本快速下载所有 Checkpoint 作为预训练模型
python pretrained_model/download_pretrained_model.py
4.2 训练
基于上述大规模数据预训练的模型,在抽取的部分 supervise.ly 数据集上进行 Fine-tuning,以 HRNet w18 small v1
为例,训练命令如下:
export CUDA_VISIBLE_DEVICES=0 # 设置1张可用的卡
# set CUDA_VISIBLE_DEVICES=0 # windows下请执行此命令
python train.py \
--config configs/fcn_hrnetw18_small_v1_humanseg_192x192_mini_supervisely.yml \
--save_dir saved_model/fcn_hrnetw18_small_v1_humanseg_192x192_mini_supervisely \
--save_interval 100 --do_eval --use_vdl
更多命令行帮助可运行下述命令进行查看:
python train.py --help
4.3 评估
使用下述命令进行评估
python val.py \
--config configs/fcn_hrnetw18_small_v1_humanseg_192x192_mini_supervisely.yml \
--model_path saved_model/fcn_hrnetw18_small_v1_humanseg_192x192_mini_supervisely/best_model/model.pdparams
4.4 预测
使用下述命令进行预测, 预测结果默认保存在 ./output/result/
文件夹中。
python predict.py \
--config configs/fcn_hrnetw18_small_v1_humanseg_192x192_mini_supervisely.yml \
--model_path saved_model/fcn_hrnetw18_small_v1_humanseg_192x192_mini_supervisely/best_model/model.pdparams \
--image_path data/human_image.jpg
五、模型导出
5.1 将模型导出为静态图模型
请确保位于 PaddleSeg 目录下,执行以下脚本:
export CUDA_VISIBLE_DEVICES=0 # 设置1张可用的卡
# set CUDA_VISIBLE_DEVICES=0 # windows下请执行此命令
python ../../export.py \
--config configs/fcn_hrnetw18_small_v1_humanseg_192x192_mini_supervisely.yml \
--model_path saved_model/fcn_hrnetw18_small_v1_humanseg_192x192_mini_supervisely/best_model/model.pdparams \
--save_dir export_model/fcn_hrnetw18_small_v1_humanseg_192x192_mini_supervisely_with_softmax \
--without_argmax --with_softmax
5.2 导出脚本参数解释
参数名 | 用途 | 是否必选项 | 默认值 |
---|---|---|---|
config | 配置文件 | 是 | - |
save_dir | 模型和 visualdl 日志文件的保存根路径 | 否 | output |
model_path | 预训练模型参数的路径 | 否 | 配置文件中指定值 |
with_softmax | 在网络末端添加softmax算子。由于PaddleSeg组网默认返回logits,如果想要部署模型获取概率值,可以置为True | 否 | False |
without_argmax | 是否不在网络末端添加argmax算子。由于PaddleSeg组网默认返回logits,为部署模型可以直接获取预测结果,我们默认在网络末端添加argmax算子 | 否 | False |
5.3 结果文件
output
├── deploy.yaml # 部署相关的配置文件
├── model.pdiparams # 静态图模型参数
├── model.pdiparams.info # 参数额外信息,一般无需关注
└── model.pdmodel # 静态图模型文件
六、Web端部署
七、移动端部署
![](https://i-blog.csdnimg.cn/blog_migrate/f4124b0f63ffc13f4166211216595f9f.png)