使用YOLO11分割和高斯模糊创建人像效果

小白学视觉

于 2024-10-11 10:06:02 发布

阅读量3

点赞数

原文链接：https://mp.weixin.qq.com/s?__biz=MzU0NjgzMDIxMQ==&mid=2247625183&idx=2&sn=7e5726176de23c1fe684bea4458d5704&chksm=fa6e0bf9ad5b0452f94e88e8f01467abc869559a5d682b0b94303558d48e3c11222b5364b332&scene=126&sessionid=0

版权

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

分割和高斯模糊后的图像

本文通过结合最新的YOLO11实例分割模型和高斯模糊，为你的图片应用人像效果。我们将使用YOLO11将人物从背景中分割出来，并对除了主体之外的所有内容应用模糊效果。

1. 安装Ultralytics库

首先创建并激活一个Python虚拟环境来管理依赖项。如果你不熟悉虚拟环境，请查看这个教程：

激活虚拟环境后，我们需要安装ultralytics库，这将允许我们使用YOLO11实例分割模型。运行以下命令在你的环境里安装库：

pip install ultralytics

2. 下载测试图片

接下来，让我们从Unsplash下载一张测试图片进行测试，你可以使用任何你选择的图片。我为我们的测试目的选择了以下图片：

在.py文件中，添加以下代码来下载和加载图片：

import urllib.request
import cv2


# Download the image
url, filename = ("https://images.unsplash.com/photo-1634646493821-9fca74f85f59?w=600&auto=format&fit=crop&q=60&ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxzZWFyY2h8Mzk0fHx1bmJsdXJyZWQlMjBwb3J0YWl0fGVufDB8fDB8fHww", "scene.jpg")
urllib.request.urlretrieve(url, filename)


# Load the input image using OpenCV
image = cv2.imread(filename)

3. 生成分割掩码

图片加载后，下一步是创建一个分割掩码，以识别图片中的人物。有关使用YOLO11实例分割模型识别人物的更详细教程，请查看这个教程：《YOLO11 实例分割模型做行人分割》

模型将检测人物，我们将创建一个掩码以将主体与背景隔离。我们将使用yolo11n-seg.pt模型，但你可以使用Ultralytics YOLO11文档中的任何你喜欢的模型。以下是加载模型并生成掩码的代码：

import urllib.request
import cv2
from ultralytics import YOLO
import numpy as np


def segment_image(image, model):
    # Predict with the model
    results = model(filename)  # predict on an image 


    # Create an empty mask for segmentation
    segmentation_mask = np.zeros_like(image, dtype=np.uint8)
    
    # Iterate over the results
    for i, r in enumerate(results):
        # Iterate through the detected masks
        for j, mask in enumerate(r.masks.xy):
            # Convert the class tensor to an integer
            class_id = int(r.boxes.cls[j].item())  # Extract the class ID as an integer
            
            # Check if the detected class corresponds to 'person' (class ID 0)
            if class_id == 0:
                # Convert mask coordinates to an integer format for drawing
                mask = np.array(mask, dtype=np.int32)
                
                # Fill the segmentation mask with color (e.g., white for people)
                cv2.fillPoly(segmentation_mask, [mask], (255, 255, 255))
    
    return segmentation_mask


# Download the image
url, filename = ("https://images.unsplash.com/photo-1634646493821-9fca74f85f59?w=600&auto=format&fit=crop&q=60&ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxzZWFyY2h8Mzk0fHx1bmJsdXJyZWQlMjBwb3J0YWl0fGVufDB8fDB8fHww", "scene.jpg")
urllib.request.urlretrieve(url, filename)


# Load the input image using OpenCV
image = cv2.imread(filename)


# Load the model
model = YOLO("yolo11n-seg.pt")  # load an official YOLO model
 
# Generate the segmentation mask   
segmentation_mask = segment_image(image, model)


# Visualize the segmentation mask before combining it with the original image
cv2.imwrite("mask.jpg", segmentation_mask)

这一步将生成一个二进制掩码，其中人物被突出显示，如下例所示：

图像二进制分割掩码

4. 使用掩码对图像应用高斯模糊

现在我们有了分割掩码，我们可以在保持人物清晰的同时对背景应用高斯模糊。我们将模糊整个图像，然后使用掩码将清晰的人物区域与模糊的背景结合起来。以下是分割和应用模糊的所有代码：

import urllib.request
import cv2
from ultralytics import YOLO
import numpy as np


def segment_image(image, model):
    # Predict with the model
    results = model(filename)  # predict on an image 


    # Create an empty mask for segmentation
    segmentation_mask = np.zeros_like(image, dtype=np.uint8)
    
    # Iterate over the results
    for i, r in enumerate(results):
        # Iterate through the detected masks
        for j, mask in enumerate(r.masks.xy):
            # Convert the class tensor to an integer
            class_id = int(r.boxes.cls[j].item())  # Extract the class ID as an integer
            
            # Check if the detected class corresponds to 'person' (class ID 0)
            if class_id == 0:
                # Convert mask coordinates to an integer format for drawing
                mask = np.array(mask, dtype=np.int32)
                
                # Fill the segmentation mask with color (e.g., white for people)
                cv2.fillPoly(segmentation_mask, [mask], (255, 255, 255))
    
    return segmentation_mask


def apply_blur_using_mask(image, mask, blur_strength=(25, 25)):
    # Apply Gaussian blur to the entire image
    blurred_image = cv2.GaussianBlur(image, blur_strength, 0)


    # Create an inverted mask where the background is white and the person is black
    inverted_mask = cv2.bitwise_not(mask)


    # Use the mask to keep the person sharp and blur the background
    background_blur = cv2.bitwise_and(blurred_image, blurred_image, mask=inverted_mask[:, :, 0])
    person_region = cv2.bitwise_and(image, image, mask=mask[:, :, 0])


    # Combine the sharp person region with the blurred background
    final_image = cv2.add(person_region, background_blur)
    
    return final_image


# Download the image
url, filename = ("https://images.unsplash.com/photo-1634646493821-9fca74f85f59?w=600&auto=format&fit=crop&q=60&ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxzZWFyY2h8Mzk0fHx1bmJsdXJyZWQlMjBwb3J0YWl0fGVufDB8fDB8fHww", "scene.jpg")
urllib.request.urlretrieve(url, filename)


# Load the input image using OpenCV
image = cv2.imread(filename)


# Load the model
model = YOLO("yolo11n-seg.pt")  # load an official YOLO model
 
# Generate the segmentation mask   
segmentation_mask = segment_image(image, model)


# Call the function to apply the blur and save the result
final_image = apply_blur_using_mask(image, segmentation_mask)


# Visualize the segmentation mask before combining it with the original image
cv2.imwrite("mask.jpg", segmentation_mask)


# Save the result
cv2.imwrite("blurred_image.jpg", final_image)


# Optionally display the image (make sure you're running in a GUI environment)
cv2.imshow("Blurred Image Result", final_image)
cv2.waitKey(0)
cv2.destroyAllWindows()

最终结果

这段代码将清晰的人物与模糊的背景结合起来，为你的图像提供专业的人像效果。分割掩码确保人物保持聚焦，而背景则通过高斯模糊变柔和。

示例结果

完整代码：https://github.com/Brianhulela/background_blur

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~