对在运动的刘耕宏进行抠图（含单帧与视频的分割算法应用)

已于 2022-06-21 19:36:20 修改
阅读量380 收藏
点赞数 1
分类专栏： 分割 Segmentation 文章标签： 算法 计算机视觉 语义分割 MediaPipe 人工智能
于 2022-06-16 11:49:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoyyidiaodiao/article/details/125313058
版权

使用MediaPipe

1.单帧图像

代码讲解（1）

# 导包
import cv2
import mediapipe as mp
import matplotlib.pyplot as plt

if __name__ == '__main__':
    # 导入分割模块
    seg = mp.solutions.selfie_segmentation.SelfieSegmentation(model_selection=0)

    # read img BGR to RGB
    img = cv2.imread("1.jpg")
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    plt.imshow(img)
    plt.show()

对应结果

代码讲解（2）

    # 处理图像
    results = seg.process(img)

    # results的segmentation_mask提取mask
    mask = results.segmentation_mask

    plt.imshow(mask)
    plt.show()

 对应结果

 代码讲解（3）

    # 将其转化False与True,以便处理
    mask = mask > 0.5

    plt.imshow(mask)
    plt.show()

对应结果

 代码讲解（4）

    # 将其叠加成三通道
    mask_channels = np.stack([mask, mask, mask], axis=-1)

    # 背景的颜色定义
    MASK_COLOR = [0, 255, 255]

    # 背景大小与原图大小一致
    fg_img = np.zeros(img.shape, dtype=np.uint8)

    fg_img[:] = MASK_COLOR

    # 如果mask_channels为True则显示img,如果为False则显示背景
    FG_img = np.where(mask_channels, img, fg_img)

    # 显示从原图中抠出人体，但是背景为我们重新设置的颜色
    plt.imshow(FG_img)
    plt.show()

对应结果

代码讲解（5）

    # 如果~mask_channels为True则显示img(mask_channels为False),如果为False则显示背景
    # mask_channels为False显示img,如果mask_channels为True显示fg_img
    BG_img = np.where(~mask_channels, img, fg_img)
    # 保留背景扣掉人
    plt.imshow(BG_img)
    plt.show()

 对应结果

代码讲解（6）

    # 单独替换一张新的背景
    bg_img = cv2.imread("2.jpg")

    bg_img = cv2.cvtColor(bg_img, cv2.COLOR_BGR2RGB)
    plt.imshow(bg_img)
    plt.show()

 对应结果

代码讲解（7）

    print(bg_img.shape)
    BOTTOM = bg_img.shape[0]
    TOP = BOTTOM - img.shape[0]
    print(TOP)
    
    # 从中间开始取,这样更好对称
    LEFT = bg_img.shape[1] // 2 - img.shape[1] // 2
    print(LEFT)
    RIGHT = LEFT + img.shape[1]

    # left top : (TOP, LEFT)
    # right bottom: (BOTTOM, RIGHT)

    # 将背景大小换成适合原图大小
    new_bg = bg_img[TOP:BOTTOM, LEFT:RIGHT, :]
    print(new_bg.shape)

    # 将原图背景替换成
    BG_img = np.where(mask_channels, img, new_bg)

    plt.imshow(BG_img)
    plt.show()

 对应结果

完整代码

import cv2
import numpy as np
import mediapipe as mp
import matplotlib.pyplot as plt

if __name__ == '__main__':
    seg = mp.solutions.selfie_segmentation.SelfieSegmentation(model_selection=0)

    # read img BGR to RGB
    img = cv2.imread("1.jpg")
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    print(img.shape)
    plt.imshow(img)
    plt.show()

    results = seg.process(img)
    # results的segmentation_mask提取mask
    mask = results.segmentation_mask
    plt.imshow(mask)
    plt.show()
    # 将其转化False与True,以便处理
    mask = mask > 0.5
    plt.imshow(mask)
    plt.show()

    # 将其叠加成三通道
    mask_channels = np.stack([mask, mask, mask], axis=-1)
    # 背景的颜色定义
    MASK_COLOR = [0, 255, 255]
    # 背景大小与原图大小一致
    fg_img = np.zeros(img.shape, dtype=np.uint8)
    fg_img[:] = MASK_COLOR

    # 如果mask_channels为True则显示img,如果为False则显示背景
    FG_img = np.where(mask_channels, img, fg_img)
    # 显示从原图中抠出人体，但是背景为我们重新设置的颜色
    plt.imshow(FG_img)
    plt.show()

    # 如果~mask_channels为True则显示img(mask_channels为False),如果为False则显示背景
    # mask_channels为False显示img,如果mask_channels为True显示fg_img
    BG_img = np.where(~mask_channels, img, fg_img)
    # 保留背景扣掉人
    plt.imshow(BG_img)
    plt.show()

    # 单独替换一张新的背景
    bg_img = cv2.imread("2.jpg")
    bg_img = cv2.cvtColor(bg_img, cv2.COLOR_BGR2RGB)
    plt.imshow(bg_img)
    plt.show()

    print(bg_img.shape)
    BOTTOM = bg_img.shape[0]
    TOP = BOTTOM - img.shape[0]
    print(TOP)
    # 从中间开始取,这样更好对称
    LEFT = bg_img.shape[1] // 2 - img.shape[1] // 2
    print(LEFT)
    RIGHT = LEFT + img.shape[1]
    # left top : (TOP, LEFT)
    # right bottom: (BOTTOM, RIGHT)
    # 将背景大小换成适合原图大小
    new_bg = bg_img[TOP:BOTTOM, LEFT:RIGHT, :]
    print(new_bg.shape)

    # 将原图背景替换成
    BG_img = np.where(mask_channels, img, new_bg)
    plt.imshow(BG_img)
    plt.show()

2.视频

公用代码部分

import os
import sys
import time

import cv2
import numpy as np
import mediapipe as mp

BASE_DIR = os.path.dirname((os.path.abspath(__file__)))
print(BASE_DIR)
sys.path.append(BASE_DIR)

seg = mp.solutions.selfie_segmentation.SelfieSegmentation(model_selection=0)

处理每帧的函数

1.将背景扣掉

def process_frame_fg(img):
    start = time.time()
    img = cv2.flip(img, 1)
    img.flags.writeable = False
    results = seg.process(img)
    mask = results.segmentation_mask.astype("uint8")

    # 将其叠加成三通道
    mask_channels = np.stack((mask, mask, mask), axis=-1) * 255
    mask_channels = mask_channels > 0.5
    # 背景的颜色定义
    MASK_COLOR = [0, 255, 255]

    # 背景大小与原图大小一致
    fg_img = np.zeros(img.shape, dtype=np.uint8)

    fg_img[:] = MASK_COLOR

    # 如果mask_channels为True则显示img,如果为False则显示背景
    FG_img = np.where(mask_channels, img, fg_img)

    # 显示从原图中抠出人体，但是背景为我们重新设置的颜色
    end = time.time()
    FPS = 1 / (end - start)
    FG_img = cv2.putText(FG_img, 'FPS' + str(int(FPS)), (25, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 3)

    return FG_img

2.将前景扣掉

def process_frame_bg(img):
    start = time.time()
    img = cv2.flip(img, 1)
    img.flags.writeable = False
    results = seg.process(img)
    mask = results.segmentation_mask.astype("uint8")

    # 将其叠加成三通道
    mask_channels = np.stack([mask, mask, mask], axis=-1) * 255
    mask_channels = mask_channels > 0.5

    # 背景的颜色定义
    MASK_COLOR = [0, 255, 255]

    # 背景大小与原图大小一致
    fg_img = np.zeros(img.shape, dtype=np.uint8)

    fg_img[:] = MASK_COLOR

    # 如果~mask_channels为True则显示img(mask_channels为False),如果为False则显示背景
    # mask_channels为False显示img,如果mask_channels为True显示fg_img
    BG_img = np.where(~mask_channels, img, fg_img)
    end = time.time()
    FPS = 1 / (end - start)
    # 保留背景扣掉人
    BG_img = cv2.putText(BG_img, 'FPS' + str(int(FPS)), (25, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 3)

    return BG_img

3.替换背景

def process_frame_newbg(img):
    start = time.time()
    img = cv2.flip(img, 1)
    img.flags.writeable = False
    results = seg.process(img)
    mask = results.segmentation_mask.astype("uint8")

    # 将其叠加成三通道
    mask_channels = np.stack([mask, mask, mask], axis=-1) * 255
    mask_channels = mask_channels > 0.5

    bg_img = cv2.imread("2.jpg")

    BOTTOM = bg_img.shape[0]
    TOP = BOTTOM - img.shape[0]

    # 从中间开始取,这样更好对称
    LEFT = bg_img.shape[1] // 2 - img.shape[1] // 2
    RIGHT = LEFT + img.shape[1]

    # left top : (TOP, LEFT)
    # right bottom: (BOTTOM, RIGHT)
    # 将背景大小换成适合原图大小
    new_bg = bg_img[TOP:BOTTOM, LEFT:RIGHT, :]

    # 将原图背景替换成
    BG_img = np.where(mask_channels, img, new_bg)

    end = time.time()
    FPS = 1 / (end - start)

    BG_img = cv2.putText(BG_img, 'FPS' + str(int(FPS)), (25, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 3)

    return BG_img

实时摄像头捕捉

if __name__ == '__main__':
    t0 = time.time()
    cap = cv2.VideoCapture(0)
    cap.open(0)
    while cap.isOpened():
        success, frame = cap.read()
        if frame is None:
            print('ERROR')
            break
        if success == True:
            frame = process_frame_bg(frame)
            cv2.imshow("segmentation", frame)
            if ((time.time() - t0) // 1) == 30:
                sys.exit(0)
            cv2.waitKey(1)

    cap.release()
    cv2.destroyAllWindows()

亲测3个函数都能正常运行！

实时视频

if __name__ == '__main__':
    t0 = time.time()
    video_dirs = os.path.join(BASE_DIR, "1.mp4")
    cap = cv2.VideoCapture(video_dirs)
    while cap.isOpened():
        success, frame = cap.read()
        if frame is None:
            print('ERROR')
            break
        if success == True:
            frame = process_frame_fg(frame)
            cv2.imshow("segmentation", frame)
        cv2.waitKey(1)

    cap.release()
    cv2.destroyAllWindows()

运行结果

1.将背景扣掉

背景扣掉

2.将前景扣掉

前景扣掉

3.替换背景

背景替换

实时视频优化

选择一个函数进行优化（扣掉背景的）

完整代码

import cv2
import time
import numpy as np
from tqdm import tqdm
import mediapipe as mp

mp_pose = mp.solutions.pose
seg = mp.solutions.selfie_segmentation.SelfieSegmentation(model_selection=0)


def process_frame_fg(img):
    start = time.time()
    img.flags.writeable = False
    results = seg.process(img)
    mask = results.segmentation_mask.astype("uint8")

    # 将其叠加成三通道
    mask_channels = np.stack((mask, mask, mask), axis=-1) * 255
    mask_channels = mask_channels > 0.5
    # 背景的颜色定义
    MASK_COLOR = [255, 255, 255]

    # 背景大小与原图大小一致
    fg_img = np.zeros(img.shape, dtype=np.uint8)

    fg_img[:] = MASK_COLOR

    # 如果mask_channels为True则显示img,如果为False则显示背景
    FG_img = np.where(mask_channels, img, fg_img)

    # 显示从原图中抠出人体，但是背景为我们重新设置的颜色
    end = time.time()
    FPS = 1 / (end - start)
    FG_img = cv2.putText(FG_img, 'FPS' + str(int(FPS)), (25, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 3)

    return FG_img



def out_video(input):
    file = input.split("/")[-1]
    output = "out-seg-" + file
    print("It will start processing video: {}".format(input))
    cap = cv2.VideoCapture(input)
    frame_count = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
    frame_size = (cap.get(cv2.CAP_PROP_FRAME_WIDTH), cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
    # # create VideoWriter,VideoWriter_fourcc is video decode
    fourcc = cv2.VideoWriter_fourcc(*'mp4v')
    fps = cap.get(cv2.CAP_PROP_FPS)
    out = cv2.VideoWriter(output, fourcc, fps, (int(frame_size[0]), int(frame_size[1])))
    # the progress bar
    with tqdm(range(frame_count)) as pbar:

        while cap.isOpened():
            success, frame = cap.read()
            if not success:
                break
            try:
                frame = process_frame_fg(frame)
                out.write(frame)
                pbar.update(1)
            except:
                print("ERROR")
                pass
    pbar.close()
    cv2.destroyAllWindows()
    out.release()
    cap.release()
    print("{} finished!".format(output))


if __name__ == '__main__':
    video_dirs = "1.mp4"
    out_video(video_dirs)

运行结果

分割视频优化

游客26024
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
【实例分割系列：一】Mask RCNN 论文笔记解析
鹿鹿的博客
09-21 2205
2017 CVPR Mask R-CNN Instance Segmentation Mask RCNN, PyTorch Introduction Mask RCNN = Faster RCNN + ResNet-FPN + Mask Motivation 强化的基础网络 通过 ResNeXt-101+FPN 用作特征提取网络，达到 state-of-the-art 的效果。 ...
图算法在风控场景的应用
DataFun_Hoh的博客
12-16 1787
在现实应用中，很多时候我们没有办法对黑白灰样本去做完全精确的定位。那该如何利用类似社交网络的同质性（好人和好人关系近，坏人和坏人关系近）做团伙识别？在风控场景，很容易通过强规则产出高准确率的样本，但覆盖率很低（低召回），那么如何扩充这些样本呢？
【mediapipe】人体分割抠图
qq_2301776048的博客
07-04 1464
基于mediapipe的人体图片分割抠图
MediaPipe基础（6）Selfie Segmentation(自拍分割)
weixin_43229348的博客
09-29 3315
1.摘要 MediaPipe Selfie Segmentation对场景中突出的人进行了分割。它可以在智能手机和笔记本电脑上实时运行。预期的使用场景包括自拍效果和视频会议，即人们离相机很近(小于2米)。 2.模型 在这个解决方案中，我们提供了两种模型：一般模型和景观模型。两种模型都基于 MobileNetV3，并进行了修改以提高效率。通用模型在 256x256x3 (HWC) 张量上运行，并输出代表分割掩码的 256x256x1 张量。景观模型类似于通用模型，但在 144x256x3 (HWC) 张量上运
Mediapipe入门——搭建姿态检测模型并实时输出人体关节点3d坐标（2024.1.4更新）
热门推荐
kalakalabala的博客
11-25 5万+
Mediapipe入门，利用mediapipe搭建人体整体检测模型，并输出右手21个关节点的坐标；mp_holistic.Holistic函数理解，mp_holistic.Holistic.process函数理解；mp.solutions.drawing_utils.draw_landmarks函数理解；Mediapipe实时姿态估计，3d骨架铰接图，matplotlib和Mediapipe绘图
Windows下编译Mediapipe,C++版本
Mike
07-06 3330
Windows下编译Mediapipe出现问题及解决
榜单下架、PK惩罚消失，直播平台不再躺赚
qq_40558336的博客
05-12 800
" 雷声响过，雨点要落。对直播行业的监管，正在持续加码。如果有一天，监管要求对每日每人打赏限额做出要求，行业才真正面临核打击。 " 撰文|夏文欣 重锤落下，直播迎来史上最严监管。 5月7日，关于规范网络直播打赏，加强未成年人保护的意见出台。其中明确禁止未成年人参与直播打赏、严控未成年人从事主播等禁令。 对未成年人的保护措施，是包括直播在内的互联网平台必须完成的合规动作。比如在成年人与未成年之间，人为设置屏障，未成年模式是定制状态，成年人的功能不受影响。 此次意见的出台，对「...
代码版刘畊宏本草纲目健身操【内附源码/demo】
Wing_0517的博客
04-28 4136
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、话不多说，先上demo二、html+css+javascript代码版刘畊宏本草纲目毽子操二、实现流程Step1 新建一个txt 文件Step2 打开文件,复制源码进去Step3 将 txt 后缀改成 htmlStep4 打开文件Step5 选择视频Step6 代码版刘畊宏毽子操上线啦～总结 前言 一天增长一千万粉丝，刘畊宏创造了全平台涨粉新纪录。 全网这么多刘畊宏女孩，程序猿版刘畊宏男孩申请出战！ 一、话不多说，先上.
2022上半年小红书用户内容消费行为洞察.pdf
06-30
小红书用户对运动健身的兴趣激增，搜索量增长325%，相关搜索词包括「刘耕宏」、「瘦腰马甲线」、「瘦手臂」、「腹肌」等。 趋势三：时尚美妆热度持续 新常态疫情下，佩戴口罩不影响消费者对【美】的追求，时尚美妆...
抖音电商，流量尽头唯有直播间
weixin_43819199的博客
08-01 560
很多直播间的宣言不仅仅是选好物，还有一句大家都明白的“全网最低价”的称号，这也是早期抖音带货直播间的常态，不过随着市场监管严格进行，这种宣言逐渐收敛，但是从各大主播的宣传状态来看，所谓的“将价格打下来”确实能够带动消费者的消费欲望，让需求从无到有产生，不过笔者还是要将这一现象归根于价格优惠的因素导致。直播带货的风口，让流量有了更多用处，先是淘宝直播首当其冲，利用原有电商体系以及大流量池的特性成为直播带货的领头羊，而后抖音不断挖掘流量用处，也将矛头指向了直播电商，于是便有了现在的抖音电商体系。...
人脸检测与分割，ncm的facemesh（mediapipe）-Android开发
05-26
ncnn的Android人脸检测和分割ncnn_Android_face的人脸检测和分割，ncnn的facemesh（mediapipe）PS：facemesh结果可能与mediapipe不同，因为某些操作会进行转换，希望有人对其进行改进。 参考：https://github.com/nihui/ncnn-android-scrfd https://github.com/deepcam-cn/yolov5-face https://github.com/Tencent/ncnn https://github.com /thepowerfuldeez/facemesh.pytorch
MediaPipe Holisitic：实现端侧人脸手势姿态同时估计
谷歌开发者
12-29 4221
文 / Ivan Grishchenko 和 Valentin Bazarevsky，Google Research 研究工程师在移动设备上实时且同时感知人体姿态、面部特征点和进行手部追...
视觉特效·AI视频抠图·换脸
shadowcz007的博客
08-04 2102
好学的ace我最近在学习blender里的VFX，秀下我的学习成果~~视觉特效Visual effects, 简称VFX合成真人拍摄的镜头和计算机生成图像，以创造虚拟的真实场景。绿幕影...
怎么在mediapipe中只保留框体信息
teleger的博客
11-02 966
继 上一篇关于mediapipe 文章 更改框体颜色 发现 mediapipe 框架 显示人脸框体这块, 会出现 Face, 相似度 ，还有5个小圆圈 等信息， 于是想着 去掉这些显示， 只留下框体… 恩，是其他不显示 那么位置 又在哪里呢？ 对于 人脸检测 demo 而言… 文件 mediapipe-master/mediapipe/util/annotation_renderer.cc ...
MediaPipe Pose 代码搬运
heleneveryday的专栏
08-07 1628
代码链接：https://google.github.io/mediapipe/solutions/pose 代码功能：读取视频文件，检测并标注1个人体的姿态（33个关键点），按Esc键退出或文件结束退出 import cv2 import mediapipe as mp mp_drawing = mp.solutions.drawing_utils mp_pose = mp.solutions.pose # For webcam input: cap = cv2.VideoCapt
利用opencv和mediapip实现对虚拟图像的多张缩放和移动
qq_44599368的博客
12-02 682
目录 一、单张虚拟图像的缩放和移动 1.图片素材 2.代码如下： 3. 效果展示 二、多张虚拟图像的移动 1.图片素材 2.代码如下： 3.效果如下： 三、多张图片缩放 1.代码如下： 2.效果如下： 四、多张图片的缩放和移动 1.代码如下： 2.效果如下： 提示：cvzone、mediapip的相关文档，参考：Hands - mediapipe 一、单张虚拟图像的缩放和移动 1.图片素材 本次使用一张200*200的.jpg图片， 2.代码如下： ...
使用 MediaPipe 和 TensorFlow.js 进行人体分割
谷歌开发者
02-14 5076
发布人：Google 团队 Ivan Grishchenko、Valentin Bazarevsky、Ahmed Sabie、Jason Mayes随着人们对健康和健身的兴趣日益浓厚，去年...
基于python mediapipe的视频或者图片更换背景
xujianjun229的博客
07-14 2639
在windows 10 下使用cmd执行以下命令： pip install opencv-python pip install cvzone pip install mediapipe 安装以上python库后，可以使用以下的例程： import cv2 import cvzone from cvzone.SelfiSegmentationModule import SelfiSegmentation import os cap = cv2.VideoCapture(0) cap.set(3,640) .
趣味算法------试用 6 和 9 组成的最大数字
最新发布
markingyi的博客
08-26 583
给出一个数字，反转其中一位使数字最大化，递归求解。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值