PaddleHub抠图及图片合成(2.0环境，新版本模型)

PaddleHub抠图及图片合成

deeplabv3p_xception65_humanseg

本示例用DeepLabv3+模型完成一键抠图。DeepLabv3+ 是Google DeepLab语义分割系列网络的最新作，其前作有 DeepLabv1，DeepLabv2, DeepLabv3。在最新作中，作者通过encoder-decoder进行多尺度信息的融合，同时保留了原来的空洞卷积和ASSP层， 其骨干网络使用了Xception模型，提高了语义分割的健壮性和运行速率，在 PASCAL VOC 2012 dataset取得新的state-of-art performance。在完成一键抠图之后，通过图像合成，实现扣图比赛任务

NOTE： 如果您在本地运行该项目示例，需要首先安装PaddleHub。如果您在线运行，需要首先fork该项目示例。之后按照该示例操作即可。

deeplabv3p_xception65_humanseg模型链接：https://www.paddlepaddle.org.cn/hubdetail?name=deeplabv3p_xception65_humanseg&en_category=ImageSegmentation

环境：PaddlePaddle2.0.0rc PaddleHub2.0.0b1 deeplabv3p_xception65_humanseg1.1.1(最新版)

一、安装新版Hub

!pip install paddlehub==2.0.0b1 -i https://pypi.tuna.tsinghua.edu.cn/simple

二、定义数据集

以本示例中文件夹下meditation.jpg为待预测图片，background.jpg为背景图片

实现效果

# 待抠图照片
image = 'meditation.jpg'
# 背景
background = 'background.jpg'
# 合成照片名称
save_image = 'save_image.jpg'

三、API预测

def segmentation(images=None,
                 paths=None,
                 batch_size=1,
                 use_gpu=False,
                 visualization=False,
                 output_dir='humanseg_output').

预测API，用于人像分割。

参数

• images (list[numpy.ndarray]): 图片数据，ndarray.shape 为 [H, W, C]，BGR格式；
• paths (list[str]): 图片的路径；
• batch_size (int): batch 的大小；
• use_gpu (bool): 是否使用 GPU；
• visualization (bool): 是否将识别结果保存为图片文件；
• output_dir (str): 图片的保存路径。

返回

• res (list[dict]): 识别结果的列表，列表中每一个元素为 dict，关键字有 ‘save_path’, ‘data’，对应的取值为：
  • save_path (str, optional): 可视化图片的保存路径（仅当visualization=True时存在）；
  • data (numpy.ndarray): 人像分割结果，仅包含Alpha通道，取值为0-255 (0为全透明，255为不透明)，也即取值越大的像素点越可能为人体，取值越小的像素点越可能为背景。

四、代码示例

import paddlehub as hub
import cv2

human_seg = hub.Module(name="deeplabv3p_xception65_humanseg")
result = human_seg.segmentation(images=[cv2.imread(image)],visualization=True)
print(result[0]['save_path'])
# or
# result = human_seg.segmentation(paths=['/PATH/TO/IMAGE'])

五、命令行预测

!hub run deeplabv3p_xception65_humanseg --input_path 'meditation.jpg' --visualization True

六、效果展示

# 预测结果展示
import matplotlib.pyplot as plt 
import matplotlib.image as mpimg 

test_img_path = result[0]['save_path']
img = mpimg.imread(test_img_path)
plt.figure(figsize=(10,10))
plt.imshow(img) 
plt.axis('off') 
plt.show()

七、图像合成

将抠出的人物图片合成在想要的背景图片当中。

from PIL import Image
import numpy as np

def blend_images(fore_image, base_image):
    """
    将抠出的人物图像换背景
    fore_image: 前景图片，抠出的人物图片
    base_image: 背景图片
    """
    # 读入图片
    base_image = Image.open(base_image).convert('RGB')
    fore_image = Image.open(fore_image).resize(base_image.size)

    # 图片加权合成
    scope_map = np.array(fore_image)[:,:,-1] / 255
    scope_map = scope_map[:,:,np.newaxis]
    scope_map = np.repeat(scope_map, repeats=3, axis=2)
    res_image = np.multiply(scope_map, np.array(fore_image)[:,:,:3]) + np.multiply((1-scope_map), np.array(base_image))
    
    #保存图片
    res_image = Image.fromarray(np.uint8(res_image))
    res_image.save(save_image)

blend_images(test_img_path, background)

# 展示合成图片
plt.figure(figsize=(10,10))
img = mpimg.imread(save_image)
plt.imshow(img) 
plt.axis('off') 
plt.show()

点我进入项目