计算机视觉入门（基础篇：利用mediapipe进行人体姿态识别）

最新推荐文章于 2024-09-10 20:52:55 发布
最新推荐文章于 2024-09-10 20:52:55 发布
阅读量231 收藏 4
点赞数 1
分类专栏： 计算机学习 文章标签： 计算机视觉 人工智能 windows opencv 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72565814/article/details/141097470
版权

本代码基于 Advance Computer Vision with Python 进行修改，更加适合中国宝宝体质

我的相关代码及数据集已经上传GitHub仓库，欢迎使用 Advance-Computer-Vision-with-Python

代码1：Basics.py

import cv2
import mediapipe as mp
import time

# 初始化 Mediapipe 的绘图工具和姿势检测模块
mpDraw = mp.solutions.drawing_utils # 导入 MediaPipe 的绘图工具，用于在图像上绘制检测到的姿势连接和关键点
mpPose = mp.solutions.pose  # 导入 MediaPipe 的姿势估计模块
pose = mpPose.Pose()  # 创建一个姿势检测对象，用于处理图像并检测人体姿势

# 打开视频文件
cap = cv2.VideoCapture("E:\\Advance Computer Vision with Python\\Chapter 2 Pose Estimation\\PoseVideos\\3.mp4")

if not cap.isOpened():
    print("Error: Could not open video.")
    exit()

pTime = 0  # 前一帧的时间

# 创建可调整大小的窗口
cv2.namedWindow("Image", cv2.WINDOW_NORMAL)

while True:
    success, img = cap.read()  # 读取视频帧

    if not success:
        print("Failed to read frame")
        break

    imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)  # 将图像从 BGR 转换为 RGB
    results = pose.process(imgRGB)  # 处理图像，检测姿势

    if results.pose_landmarks:
        # 绘制姿势连接
        mpDraw.draw_landmarks(img, results.pose_landmarks, mpPose.POSE_CONNECTIONS)

        # 遍历每个关键点
        for id, lm in enumerate(results.pose_landmarks.landmark):
            h, w, c = img.shape  # 获取图像尺寸
            cx, cy = int(lm.x * w), int(lm.y * h)  # 计算关键点在图像中的位置
            cv2.circle(img, (cx, cy), 5, (255, 0, 0), cv2.FILLED)# 在关键点位置绘制圆圈

    cTime = time.time()
    fps = 1 / (cTime - pTime)  # 计算帧率
    pTime = cTime

    # 在图像上显示帧率
    cv2.putText(img, str(int(fps)), (70, 50), cv2.FONT_HERSHEY_PLAIN, 3, (255, 0, 0), 3)
    
    cv2.imshow("Image", img)

    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

cap.release()
cv2.destroyAllWindows()

代码2：PoseModule.py

import cv2
import mediapipe as mp
import time
import math


# 姿势检测类
class poseDetector:
    # 以下为老版本代码，部分参数已经弃用
    # def __init__(
    #     self, mode=False, upBody=False, smooth=True, detectionCon=0.5, trackCon=0.5
    # ):
    #     # 初始化参数
    #     self.mode = mode  # 静态图像模式
    #     self.upBody = upBody  # 是否只检测上半身
    #     self.smooth = smooth  # 平滑处理
    #     self.detectionCon = detectionCon  # 检测置信度
    #     self.trackCon = trackCon  # 跟踪置信度
    #     self.mpDraw = mp.solutions.drawing_utils  # Mediapipe 绘图工具
    #     self.mpPose = mp.solutions.pose  # Mediapipe 姿势检测模块
    #     self.pose = self.mpPose.Pose(
    #         self.mode, self.upBody, self.smooth, self.detectionCon, self.trackCon
    #     )

    def __init__(self, static_image_mode=False, model_complexity=1, enable_segmentation=False, min_detection_confidence=0.5, min_tracking_confidence=0.5):
        # 初始化姿势检测器的参数
        self.static_image_mode = static_image_mode  # 是否处理静态图像，False 表示处理视频流
        self.model_complexity = model_complexity  # 模型复杂度，0、1 或 2，越高越准确但更慢
        self.enable_segmentation = enable_segmentation  # 是否启用分割功能
        self.min_detection_confidence = min_detection_confidence  # 姿势检测的最小置信度
        self.min_tracking_confidence = min_tracking_confidence  # 姿势跟踪的最小置信度

        # 设置 MediaPipe 工具
        self.mpDraw = mp.solutions.drawing_utils  # MediaPipe 绘图工具
        self.mpPose = mp.solutions.pose  # MediaPipe 姿势估计模块

        # 创建姿势估计对象
        self.pose = self.mpPose.Pose(
            static_image_mode=self.static_image_mode,  # 静态图像模式设置
            model_complexity=self.model_complexity,  # 模型复杂度设置
            enable_segmentation=self.enable_segmentation,  # 分割功能设置
            min_detection_confidence=self.min_detection_confidence,  # 检测置信度阈值
            min_tracking_confidence=self.min_tracking_confidence  # 跟踪置信度阈值
        )


    def findPose(self, img, draw=True):
        # 将图像从 BGR 转换为 RGB
        imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        # 处理图像，检测姿势
        self.results = self.pose.process(imgRGB)
        if self.results.pose_landmarks:
            if draw:
                # 绘制姿势连接
                self.mpDraw.draw_landmarks(
                    img, self.results.pose_landmarks, self.mpPose.POSE_CONNECTIONS
                )
        return img

    def findPosition(self, img, draw=True):
        # 初始化列表存储关键点位置
        self.lmList = []
        if self.results.pose_landmarks:
            for id, lm in enumerate(self.results.pose_landmarks.landmark):
                h, w, c = img.shape
                cx, cy = int(lm.x * w), int(lm.y * h)  # 计算关键点在图像中的位置
                self.lmList.append([id, cx, cy])
                if draw:
                    # 在图像上绘制关键点
                    cv2.circle(img, (cx, cy), 5, (255, 0, 0), cv2.FILLED)
        return self.lmList

    def findAngle(self, img, p1, p2, p3, draw=True):
        # 获取关键点坐标
        x1, y1 = self.lmList[p1][1:]
        x2, y2 = self.lmList[p2][1:]
        x3, y3 = self.lmList[p3][1:]

        # x1, y1 = self.lmList[p1][1], self.lmList[p1][2]
        # x2, y2 = self.lmList[p2][1], self.lmList[p2][2]
        # x3, y3 = self.lmList[p3][1], self.lmList[p3][2]

        # 计算角度
        angle = math.degrees(
            math.atan2(y3 - y2, x3 - x2) - math.atan2(y1 - y2, x1 - x2)
        )
        # 两个向量 (x1-x2, y1-y2), (x3-x2, y3-y2)
        # 使用 atan2 计算每个向量与 x 轴的角度
        if angle < 0:
            angle += 360

        # 绘制
        if draw:
            cv2.line(img, (x1, y1), (x2, y2), (255, 255, 255), 3)
            cv2.line(img, (x3, y3), (x2, y2), (255, 255, 255), 3)
            cv2.circle(img, (x1, y1), 10, (0, 0, 255), cv2.FILLED)
            cv2.circle(img, (x1, y1), 15, (0, 0, 255), 2)
            cv2.circle(img, (x2, y2), 10, (0, 0, 255), cv2.FILLED)
            cv2.circle(img, (x2, y2), 15, (0, 0, 255), 2)
            cv2.circle(img, (x3, y3), 10, (0, 0, 255), cv2.FILLED)
            cv2.circle(img, (x3, y3), 15, (0, 0, 255), 2)
            cv2.putText(
                img,
                str(int(angle)),
                (x2 - 50, y2 + 50),
                cv2.FONT_HERSHEY_PLAIN,
                2,
                (0, 0, 255),
                2,
            )
        return angle


# 主函数
def main():
    cap = cv2.VideoCapture(
        "E:\\Advance Computer Vision with Python\\Chapter 2 Pose Estimation\\PoseVideos\\5.mp4"
    )  # 打开视频文件
    pTime = 0  # 前一帧时间
    detector = poseDetector()  # 创建姿势检测器
    while True:
        success, img = cap.read()  # 读取视频帧
        if not cap.isOpened():
            print("Error: Could not open video.")
            return
        img = detector.findPose(img)  # 检测姿势
        if not success:
            print("Failed to read frame")
            break
        lmList = detector.findPosition(img, draw=False)  # 获取关键点位置
        if len(lmList) != 0:
            print(lmList[14])  # 打印关键点信息
            cv2.circle(img, (lmList[14][1], lmList[14][2]), 15, (0, 0, 255), cv2.FILLED)
        cTime = time.time()
        fps = 1 / (cTime - pTime)  # 计算帧率
        pTime = cTime
        cv2.putText(
            img, str(int(fps)), (70, 50), cv2.FONT_HERSHEY_PLAIN, 3, (255, 0, 0), 3
        )
        cv2.namedWindow("Image", cv2.WINDOW_NORMAL)  # 创建可调整大小的窗口
        cv2.imshow("Image", img)  # 显示图像
        cv2.waitKey(1)  # 等待按键以显示下一帧


if __name__ == "__main__":
    main()

mp.solutions.pose

mpPose = mp.solutions.pose 导入 MediaPipe 的姿势估计模块

pose = mpPose.Pose() 创建一个姿势检测对象，用于处理图像并检测人体姿势

results = pose.process(imgRGB) 处理图像，检测姿势

mpPose.Pose() 对象的参数

static_image_mode=self.static_image_mode,  # 静态图像模式设置
model_complexity=self.model_complexity,  # 模型复杂度设置
enable_segmentation=self.enable_segmentation,  # 分割功能设置
min_detection_confidence=self.min_detection_confidence,  # 检测置信度阈值
min_tracking_confidence=self.min_tracking_confidence  # 跟踪置信度阈值

注意事项

用vscode执行代码时，请让终端在Advance Computer Vision with Python文件夹下（即vs打开这个整体的文件夹），以及视频路径请使用绝对路径，否则，将可能出现一些莫名其妙的报错

比如你让终端在Chapter 2 Pose Estimation文件夹下运行，opencv的GUI就要报错，日怪得很

Dirawww
关注
专栏目录
【YOLOv8[实战]】使用YOLOv8进行车辆过线统计
静谧、淡雅
04-23 279
YOLOv8的使用：使用YOLOv8进行车辆过线统计
【低照度图像增强系列】使用MSR(Multi-Scale Retinex)算法对低照度图像进行增强处理
静谧、淡雅
08-12 138
【低照度图像增强系列】使用MSR(Multi-Scale Retinex)算法对低照度图像进行增强处理
人体姿态识别方案详解
jieqiang3的专栏
01-26 3万+
文章目录姿态迁移简介方案详解MediapipeMediapipe数据获取多人姿态识别方向探索PoseNetMoveNetOpenPoseOpenMMD参考链接 姿态迁移简介 目前AR，VR，元宇宙都比较火，需要实际场景和虚拟中进行交互的情况，因此研究了通过摄像头获取图像进行识别，本文主要概述了在人体身体姿势识别跟踪方面的一些调研和尝试。 通过各个方案，我们可以从RGB视频帧中推断出整个身体的关键特征点，从而根据这些关键特征点去做扩展，比如迁移到unity模型中等。 从识别角度来说，我们可以分成两个大方向，一
关键点检测 MediaPipe实现手势，人体姿态，面部动作估计的用法
guoqingru0311的博客
11-20 702
关键点检测 MediaPipe实现手势，人体姿态，面部动作估计的用法
ROS1+mediapipe+使用摄像头进行人体识别
h1072634325的博客
04-01 857
ROS是什么，值不值得学习，学了以后有什么用。这些我现在是没有什么深刻的理解的，希望在后面学习过程中得到理解。话不多说，这是一个对ROS入门实践的一个不错的项目。不得不说ROS学习曲线是真滴曲折，下面我将整个过程记录一下。到最好，终于可以看到摄像头识别成功。这让我对ros的运行机制有了一些了解。接下来会继续研究如何在ros小车上进行人体姿态的识别。也会不定期更新学习情况。
基于深度学习的手势识别系统（Python代码，UI界面版）
热门推荐
思绪无限的博客
04-18 5万+
摘要：本文详细介绍基于深度学习的手势识别系统，在介绍手势识别算法原理的同时，给出了Python的实现代码以及PyQt的UI界面。手势识别采用了改进的SSD算法，进行手掌检测后对手部关节坐标进行关键点定位；在系统界面中可以选择手势图片、视频进行检测识别，也可通过电脑连接的摄像头设备进行实时识别手势；可对图像中存在的多个手势进行姿势识别，可选择任意一个手势显示结果并标注，实时检测速度快、识别精度较高。博文提供了完整的Python代码和使用教程，适合新入门的朋友参考，完整代码资源文件请转至文末的下载链接。
【低照度图像增强系列】使用MSRCR(Multi-Scale Retinex with Color Restoration)算法对低照度图像进行增强处理
静谧、淡雅
08-12 41
【低照度图像增强系列】使用MSRCR(Multi-Scale Retinex with Color Restoration)算法对低照度图像进行增强处理
【低照度图像增强系列】使用SSR/MSR/MSRCR/MSRCP/automatedMSRCR算法对低照度图像进行增强处理的实践
静谧、淡雅
08-12 283
【低照度图像增强系列】使用SSR/MSR/MSRCR/MSRCP/automatedMSRCR算法对低照度图像进行增强处理的实践
【图像特效系列】图像的各种特效处理 | 图像素描特效的实践
静谧、淡雅
08-15 49
图像素描特效的实践
YOLOv8改进 | 检测头篇 | YOLOv8引入DynamicHead检测头
tsg6698的博客
09-08 864
以往的工作试图提高各种目标检测头的性能，但未能呈现出统一的观点。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv8改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~尺度感知注意力模块：该模块仅部署在特征维度的水平方向上，学习不同语义层的重要性，以增强适合单个对象的特定尺度的特征。任务感知：不同的对象表示形式（例如边界框、中心点和关键点）有不同的目标和约束，检测头需要能够处理这些不同的任务。
Opencv实现提取卡号（数字识别）
2401_84670644的博客
09-03 2087
接下来，你可能会想要使用这些数字模板与输入图像中的数字进行匹配，以确定输入图像中每个数字的具体值。这通常涉及到模板匹配技术，如使用。库来解析命令行输入，确保用户提供了输入图像和模板图像的路径。函数读取模板图像的路径，并显示原始图像。自定义的myutils库。
一文分清目标检测 抓取检测 和位姿估计
最新发布
Yyuan12345678的博客
09-10 766
不过，目标检测只能确定物体的2D位置（在图像平面上），不能提供物体的3D位姿（位置和朝向），因此通常需要与其他算法（如位姿估计）结合使用。例如，位姿估计提供准确的物体位置信息，而抓取检测则优化具体的抓取策略，确保机械臂以最佳姿势抓取目标物体。：使用深度学习模型（如GraspNet）来预测物体表面上多个潜在的抓取点及其对应的抓取姿势（如抓取的角度和位置）。通过这个设计，抓取检测确保了在动态场景下找到稳定的抓取点，而位姿估计提供物体的空间位置信息，确保抓取的精确度。位姿估计的任务是确定物体在三维空间中的。
[数据集][目标检测]血细胞检测数据集VOC+YOLO格式2757张4类别
FL1623863129的博客
09-08 750
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)标注类别名称:["Platelets","RBC","WBC","sickle cell"]特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。图片数量(jpg文件个数)：2757。标注数量(xml文件个数)：2757。标注数量(txt文件个数)：2757。使用标注工具：labelImg。标注规则：对类别进行画矩形框。
yolo8 目标检测、鉴黄
loveting99的博客
09-03 3968
YOLOv8作为YOLO（You Only Look Once）系列的最新版本，在继承其前代模型优良特性的基础上进行了全面升级。YOLO系列模型自问世以来，以其独特的单阶段检测方法和卓越的实时性能在计算机视觉领域占据了重要位置。YOLOv8的发布标志着目标检测技术的又一里程碑，其在检测速度、精度、灵活性等方面都实现了新的突破，尤其在应用场景的广泛性和复杂性上展现出了更强的适应能力。YOLOv8作为目标检测领域的最新突破，继承了YOLO系列模型的优点，同时在精度和效率上取得了显著的提升。
计算机视觉中，什么是上下文信息（contextual information）？
985小菜鸡
09-06 1003
在计算机视觉中，（contextual information）是指一个像素或一个小区域周围的环境或背景信息，它帮助模型理解图像中对象的相对位置、大小、形状，以及与其他对象的关系。上下文信息在图像中提供了全局的语义和结构线索，使模型不仅依赖局部细节，而且能够考虑整个场景或图像的大局。
[数据集][目标检测]河道垃圾检测数据集VOC+YOLO格式2274张8类别
FL1623863129的博客
09-10 619
重要说明：数据集有些垃圾不好标注，最好下载后重新审核一下以期符合自己要求，主要是河道垃圾图片难找，图片有价值，比如水草标注一部分，这样可以在干净河道里面检测出来就行，所以整体标注质量部不算特别好，请仔细查看图片认真斟酌下载。标注类别名称:["ball","bottle","branch","grass","leaf","milk-box","plastic-bag","plastic-garbage"]特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。
【论文阅读】DETRs Beat YOLOs on Real-time Object Detection
qq_42591591的博客
09-07 997
YOLO系列由于在速度和准确性之间的合理权衡，已成为最受欢迎的实时目标检测框架。然而，我们观察到YOLO的速度和准确性受到NMS的负面影响。最近，基于端到端Transformer的检测器（DETRs）为消除NMS提供了一种替代方案。尽管如此，高计算成本限制了它们的实用性，并阻碍了它们充分发挥排除NMS的优势。在本文中，我们提出了实时检测Transformer（RT - DETR），据我们所知，这是第一个解决上述困境的实时端到端目标检测器。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值