Python OpenCV精讲系列 - OpenCV与深度学习的集成（二十二）-CSDN博客

本文链接：https://blog.csdn.net/suifengme/article/details/141463051

在这里插入图片描述

💖💖⚡️⚡️专栏：Python OpenCV精讲⚡️⚡️💖💖
本专栏聚焦于Python结合OpenCV库进行计算机视觉开发的专业教程。通过系统化的课程设计，从基础概念入手，逐步深入到图像处理、特征检测、物体识别等多个领域。适合希望在计算机视觉方向上建立坚实基础的技术人员及研究者。每一课不仅包含理论讲解，更有实战代码示例，助力读者快速将所学应用于实际项目中，提升解决复杂视觉问题的能力。无论是入门者还是寻求技能进阶的开发者，都将在此收获满满的知识与实践经验。

1. 深度学习模型加载

OpenCV支持加载多种框架训练得到的模型，包括TensorFlow、PyTorch、Caffe等。这些模型可以用于执行各种任务，比如物体检测、语义分割、人脸关键点检测等。

1.1 加载TensorFlow模型

import cv2

# 加载预训练的物体检测模型
net = cv2.dnn.readNetFromTensorflow("frozen_inference_graph.pb", "ssd_mobilenet_v2_coco_2018_03_29.pbtxt")

1.2 加载PyTorch模型

import cv2

# 加载预训练的物体检测模型
net = cv2.dnn.readNetFromTorch("model.pth")

1.3 加载Caffe模型

import cv2

# 加载预训练的物体检测模型
net = cv2.dnn.readNetFromCaffe("deploy.prototxt.txt", "res10_300x300_ssd_iter_140000.caffemodel")

2. 模型应用

一旦模型加载完毕，就可以用来执行预测任务了。OpenCV提供了简单的接口来处理输入图像并获取输出结果。

2.1 预处理图像

import cv2
import numpy as np

def preprocess_image(image_path, input_size=(300, 300)):
    # 加载图像
    image = cv2.imread(image_path)
    height, width = image.shape[:2]
    
    # 将图像缩放到模型所需的尺寸
    blob = cv2.dnn.blobFromImage(image, size=input_size, swapRB=True, crop=False)
    return blob, height, width

2.2 执行预测

def run_inference(model, preprocessed_image):
    # 设置输入
    model.setInput(preprocessed_image)
    
    # 运行模型
    detections = model.forward()
    return detections

在这里插入图片描述

实例：物体检测

物体检测是计算机视觉中最常见的任务之一，它涉及识别图像中特定类别的物体，并给出其位置。OpenCV支持使用预训练的深度学习模型来进行物体检测。

3. 物体检测示例

3.1 准备模型

import cv2

def load_model():
    # 加载预训练的物体检测模型
    net = cv2.dnn.readNetFromTensorflow("frozen_inference_graph.pb", "ssd_mobilenet_v2_coco_2018_03_29.pbtxt")
    return net

3.2 检测物体

import cv2
import numpy as np

def detect_objects(image_path, model):
    # 预处理图像
    preprocessed_image, height, width = preprocess_image(image_path)
    
    # 运行模型
    detections = run_inference(model, preprocessed_image)
    
    # 解析结果
    for i in range(detections.shape[2]):
        confidence = detections[0, 0, i, 2]
        
        if confidence > 0.5:
            class_id = int(detections[0, 0, i, 1])
            box = detections[0, 0, i, 3:7] * np.array([width, height, width, height])
            (startX, startY, endX, endY) = box.astype("int")
            
            # 画出边界框
            cv2.rectangle(image, (startX, startY), (endX, endY), (0, 255, 0), 2)
            label = "{}: {:.2f}%".format(class_id, confidence * 100)
            print("[INFO] {}".format(label))
            cv2.putText(image, label, (startX, startY - 15), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2)
    
    # 显示图像
    cv2.imshow("Object Detection", image)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

# 主函数
if __name__ == "__main__":
    model = load_model()
    detect_objects("path/to/your/image.jpg", model)

4. 语义分割

语义分割是一种将图像中的像素分类为不同类别标签的任务。OpenCV可以通过加载相应的模型来实现这一功能。

4.1 准备模型

import cv2

def load_model():
    # 加载预训练的语义分割模型
    net = cv2.dnn.readNetFromTensorflow("frozen_inference_graph.pb", "deeplabv3_xception_tf_dim_ordering_tf_kernels_aspp.pbtxt")
    return net

4.2 分割图像

import cv2
import numpy as np

def segment_image(image_path, model):
    # 预处理图像
    preprocessed_image, height, width = preprocess_image(image_path, input_size=(513, 513))
    
    # 运行模型
    output = run_inference(model, preprocessed_image)
    
    # 解析结果
    output = np.squeeze(output)
    output = cv2.resize(output, (width, height), interpolation=cv2.INTER_CUBIC)
    
    # 应用颜色映射
    colors = np.array([(0, 0, 0), (128, 0, 0), (0, 128, 0), (128, 128, 0), (0, 0, 128)], dtype=np.uint8)
    segmented_image = np.take(colors, output.flatten(), axis=0).reshape(height, width, 3)
    
    # 显示分割后的图像
    cv2.imshow("Segmented Image", segmented_image)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

# 主函数
if __name__ == "__main__":
    model = load_model()
    segment_image("path/to/your/image.jpg", model)