基于Python+Opencv的手势识别控制方块移动系统（简易版+附源码）

目录

前言

一、原理分析

二、编程步骤

三、源码

总结

---

前言

        本实验旨在利用 OpenCV 和 MediaPipe 库实现对手部状态的检测，可以将检测结果做出一些拓展，实现手势识别控制方块移动的功能，以便更好的理解计算机视觉识别。

---

一、原理分析

        原理就是利用 Mediapipe 库检测摄像头捕获的图像中的手部，识别手部姿态，判断是否抓取方块进行移动或者释放方块，以此改变一个虚拟的蓝色方块的位置。

二、编程步骤

具体编程包括以下几个步骤：

1. 导入必要的库，包括 OpenCV、Mediapipe 和 NumPy。

2. 创建一个画布（canvas），其尺寸为 480x640 像素，用于绘制虚拟蓝色方块。

3. 打开摄像头，创建一个 VideoCapture 对象。

4. 进入主循环，读取每一帧图像。

5. 将图像转换为 RGB 格式。

6. 使用 Mediapipe 的 Hands 模型对图像进行处理，检测其中的手部和手部关键点。

7. 遍历检测到的手部，绘制手部形态的关键点连线。

8. 获取食指指尖位置，并计算在图像上的坐标。

9. 判断手势是否为抓取操作，即判断食指指尖的 y 坐标是否小于大拇指指尖的 y 坐标。

10. 根据抓取操作的结果，更新虚拟蓝色方块的位置。

11. 清空画布，将虚拟蓝色方块绘制在画布上。

12. 将画布叠加到原始图像上。

13. 使用 OpenCV 显示处理后的图像。

通过这种方式，实现了利用手势来控制虚拟物体的简单交互效果。

三、源码

import cv2
import mediapipe as mp
import numpy as np

mp_drawing = mp.solutions.drawing_utils
mp_hands = mp.solutions.hands
hands = mp_hands.Hands()

cap = cv2.VideoCapture(0)

canvas = np.zeros((480, 640, 3), dtype=np.uint8)  # 创建画布
square_x, square_y = 200, 200
square_size = 100
is_grabbing = False

while cap.isOpened():
    success, image = cap.read()
    if not success:
        print("Ignoring empty camera frame.")
        continue

    image = cv2.cvtColor(cv2.flip(image, 1), cv2.COLOR_BGR2RGB)
    results = hands.process(image)

    if results.multi_hand_landmarks:
        for hand_landmarks in results.multi_hand_landmarks:
            # 绘制手部形态
            mp_drawing.draw_landmarks(image, hand_landmarks, mp_hands.HAND_CONNECTIONS)

            # 获取食指指尖位置
            index_tip = hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP]
            index_tip_x, index_tip_y = int(index_tip.x * image.shape[1]), int(index_tip.y * image.shape[0])

            # 检测抓取操作
            if index_tip.y < hand_landmarks.landmark[mp_hands.HandLandmark.THUMB_TIP].y:
                is_grabbing = True
            else:
                is_grabbing = False

            # 更新方块位置
            if is_grabbing:
                square_x, square_y = index_tip_x, index_tip_y

    # 在画布上绘制蓝色方块
    canvas.fill(0)  # 清空画布
    cv2.rectangle(canvas, (square_x, square_y), (square_x + square_size, square_y + square_size), (255, 0, 0), -1)

    # 将画布叠加到图像上
    image = cv2.addWeighted(image, 1, canvas, 0.5, 0)

    cv2.imshow('MediaPipe Hands', cv2.cvtColor(image, cv2.COLOR_RGB2BGR))

    if cv2.waitKey(5) & 0xFF == 27:
        break

hands.close()
cap.release()
cv2.destroyAllWindows()

---

总结

        本实验主要涉及使用 MediaPipe 库进行手部姿势检测，并根据检测结果对屏幕上方块进行控制。我们使用了 OpenCV 和 NumPy 这两个 Python 库，以及 MediaPipe 提供的手部姿势检测模型，通过这次实验，我们深入了解了如何利用 MediaPipe 库进行手部姿势检测，并结合 OpenCV 实现了一个简单的交互式应用程序。这对于理解计算机视觉和人机交互技术都具有一定的意义。