虚拟键盘(不是软键盘)——科幻世界！！！

于 2024-07-23 11:52:47 发布
阅读量308 收藏 3
点赞数 7
文章标签： 计算机外设 计算机视觉 opencv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DDDDWJDDDD/article/details/140612593
版权

        

目录

流程说明

导入所需的库

初始化Mediapipe的手部检测模块

键盘控制器

打开摄像头

定义虚拟键盘的按键布局

记录每个按键的上次按压时间

显示虚拟键盘的函数

检测手指是否按压按键的函数

主循环

释放资源

总结

代码实现

效果展示

        这段代码展示了如何使用摄像头、Mediapipe和OpenCV创建一个虚拟键盘，用户可以通过手部动作来“按压”虚拟键盘上的按键。代码通过检测手部位置和动作来确定哪个按键被按压，然后模拟实际的键盘输入。

流程说明

导入所需的库
import cv2
import mediapipe as mp
import time
from pynput.keyboard import Controller
  • cv2：OpenCV库，用于图像处理和计算机视觉。
  • mediapipe：Mediapipe库，用于手部检测和跟踪。
  • time：Python内置的时间库，用于记录和计算时间。
  • pynput.keyboard.Controller：用于模拟键盘输入。
 初始化Mediapipe的手部检测模块
# 初始化Mediapipe的手部检测模块
mp_hands = mp.solutions.hands
hands = mp_hands.Hands(min_detection_confidence=0.7, min_tracking_confidence=0.7)
mp_drawing = mp.solutions.drawing_utils
  • mp_hands：初始化Mediapipe的手部检测模块。
  • hands：创建一个手部检测对象，设置最小检测和跟踪置信度为0.7。
  • mp_drawing：用于在图像上绘制手部关键点和连接线。
键盘控制器
keyboard = Controller()
  • keyboard：创建一个键盘控制器对象，用于模拟键盘输入。
打开摄像头
cap = cv2.VideoCapture(0)
  • cap：打开默认摄像头。
定义虚拟键盘的按键布局
# 定义虚拟键盘的按键布局
keys = [
    ['1', '2', '3', '4', '5', '6', '7', '8', '9', '0'],
    ['Q', 'W', 'E', 'R', 'T', 'Y', 'U', 'I', 'O', 'P'],
    ['A', 'S', 'D', 'F', 'G', 'H', 'J', 'K', 'L'],
    ['Z', 'X', 'C', 'V', 'B', 'N', 'M'],
    [' ', 'BACKSPACE']
]
  • keys：定义虚拟键盘的按键布局，每个元素表示一行按键。
记录每个按键的上次按压时间
key_press_times = {key: 0 for row in keys for key in row}
  • key_press_times：记录每个按键的上次按压时间，以防止在短时间内重复按压。
显示虚拟键盘的函数
def draw_keyboard(image):
    """
    在图像上绘制虚拟键盘
    """
    for i, row in enumerate(keys):
        for j, key in enumerate(row):
            # 计算按键的x坐标
            x = j * 60 + 50
            # 计算按键的y坐标
            y = i * 60 + 150
            # 绘制按键矩形
            cv2.rectangle(image, (x, y), (x + 50, y + 50), (255, 255, 255), -1)
            # 绘制按键文本
            cv2.putText(image, key, (x + 15, y + 35), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 0), 2)
  • draw_keyboard(image)：在图像上绘制虚拟键盘。
    • 遍历每一行的按键，计算每个按键的位置并绘制按键矩形和文字。
检测手指是否按压按键的函数
def detect_key_press(landmarks, image):
    """
    检测手指是否按压按键
    """
    # 食指指尖
    index_finger_tip = landmarks[8]
    # 其他手指指尖
    other_fingers_tips = [landmarks[i] for i in [4, 12, 16, 20]]

    # 食指指尖的z坐标
    index_z = index_finger_tip.z
    # 其他手指指尖的z坐标
    other_z = [tip.z for tip in other_fingers_tips]

    # 检测食指是否显著低于其他手指（z轴坐标显著不同）
    if all(index_z < z - 0.004 for z in other_z):
        # 转换食指坐标到图像坐标
        x, y = int(index_finger_tip.x * image.shape[1]), int(index_finger_tip.y * image.shape[0])
        # 获取当前时间
        current_time = time.time()
        for i, row in enumerate(keys):
            for j, key in enumerate(row):
                # 计算按键的x坐标
                key_x = j * 60 + 50
                # 计算按键的y坐标
                key_y = i * 60 + 150
                # 检查食指坐标是否在按键范围内
                if key_x < x < key_x + 50 and key_y < y < key_y + 50:
                    # 检查按键是否在1秒内被按压过
                    if current_time - key_press_times[key] > 1:
                        # 更新按键的上次按压时间
                        key_press_times[key] = current_time
                        # 绘制按压效果
                        cv2.rectangle(image, (key_x, key_y), (key_x + 50, key_y + 50), (0, 255, 0), -1)
                        cv2.putText(image, key, (key_x + 15, key_y + 35), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 255, 255), 2)
                        print(f'Key {key} pressed')
                        # 模拟键盘输入
                        if key == ' ':
                            keyboard.press(' ')
                            keyboard.release(' ')
                        elif key == 'BACKSPACE':
                            keyboard.press('\b')
                            keyboard.release('\b')
                        else:
                            keyboard.press(key)
                            keyboard.release(key)
  • detect_key_press(landmarks, image)：检测手指是否按压按键。
    • index_finger_tip：获取食指指尖的位置。
    • other_fingers_tips：获取其他手指指尖的位置。
    • 通过比较食指和其他手指的z轴坐标，检测食指是否显著低于其他手指（表示按压动作）。
    • 计算食指在图像上的位置，遍历按键，检查食指是否在某个按键的范围内。
    • 如果按键在1秒内未被按压过，绘制按压效果并模拟键盘输入。
主循环
while True:
    # 读取摄像头图像
    success, image = cap.read()
    if not success:
        break

    # 翻转图像
    image = cv2.flip(image, 1)
    # 转换为RGB格式
    image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
    # 处理图像，检测手部
    results = hands.process(image_rgb)

    if results.multi_hand_landmarks:
        for hand_landmarks in results.multi_hand_landmarks:
            # 绘制手部连接线
            mp_drawing.draw_landmarks(image, hand_landmarks, mp_hands.HAND_CONNECTIONS)
            landmarks = hand_landmarks.landmark
            # 检测按压
            detect_key_press(landmarks, image)

    # 绘制虚拟键盘
    draw_keyboard(image)
    # 显示图像
    cv2.imshow('Virtual Keyboard', image)

    # 按下ESC键退出
    if cv2.waitKey(1) & 0xFF == 27:
        break
  • 在主循环中，代码不断读取摄像头图像并翻转图像以获得镜像效果。
  • 将图像从BGR格式转换为RGB格式，以便Mediapipe处理。
  • 使用Mediapipe检测手部位置，并绘制手部连接线。
  • 检测手指是否按压按键，并绘制虚拟键盘。
  • 显示图像，并检查是否按下ESC键以退出循环。
释放资源
cap.release() # 释放摄像头 cv2.destroyAllWindows() # 销毁所有窗口
  • 释放摄像头资源并销毁所有OpenCV窗口。

总结

        这段代码展示了如何使用摄像头捕捉手部动作，通过手部检测和位置跟踪来模拟按压虚拟键盘上的按键。代码通过OpenCV绘制虚拟键盘，并通过pynput模拟实际的键盘输入。这种技术可以用于各种交互式应用，如虚拟输入设备和手势控制系统。        

        还是挺简单的嘛。

代码实现

        下面的是完整的全部代码，下载完对应的Python包即可运行。

import cv2
import mediapipe as mp
import time
from pynput.keyboard import Controller

# 初始化Mediapipe的手部检测模块
mp_hands = mp.solutions.hands
hands = mp_hands.Hands(min_detection_confidence=0.7, min_tracking_confidence=0.7)
mp_drawing = mp.solutions.drawing_utils

# 键盘控制器，用于模拟键盘输入
keyboard = Controller()

# 打开摄像头
cap = cv2.VideoCapture(0)

# 定义虚拟键盘的按键布局
keys = [
    ['1', '2', '3', '4', '5', '6', '7', '8', '9', '0'],
    ['Q', 'W', 'E', 'R', 'T', 'Y', 'U', 'I', 'O', 'P'],
    ['A', 'S', 'D', 'F', 'G', 'H', 'J', 'K', 'L'],
    ['Z', 'X', 'C', 'V', 'B', 'N', 'M'],
    [' ', 'BACKSPACE']
]

# 记录每个按键的上次按压时间，以防止在1秒内重复按压
key_press_times = {key: 0 for row in keys for key in row}

# 显示虚拟键盘的函数
def draw_keyboard(image):
    """
    在图像上绘制虚拟键盘
    """
    for i, row in enumerate(keys):
        for j, key in enumerate(row):
            # 计算按键的x坐标
            x = j * 60 + 50  
            # 计算按键的y坐标
            y = i * 60 + 150  
            # 绘制按键矩形
            cv2.rectangle(image, (x, y), (x + 50, y + 50), (255, 255, 255), -1)  
            # 绘制按键文本
            cv2.putText(image, key, (x + 15, y + 35), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 0), 2)  

# 检测手指是否按压按键的函数
def detect_key_press(landmarks, image):
    """
    检测手指是否按压按键
    """
    # 食指指尖
    index_finger_tip = landmarks[8]  
    # 其他手指指尖
    other_fingers_tips = [landmarks[i] for i in [4, 12, 16, 20]]  

    # 食指指尖的z坐标
    index_z = index_finger_tip.z  
    # 其他手指指尖的z坐标
    other_z = [tip.z for tip in other_fingers_tips]  

    # 检测食指是否显著低于其他手指（z轴坐标显著不同）
    if all(index_z < z - 0.004 for z in other_z):
        # 转换食指坐标到图像坐标
        x, y = int(index_finger_tip.x * image.shape[1]), int(index_finger_tip.y * image.shape[0])  
        # 获取当前时间
        current_time = time.time()  
        for i, row in enumerate(keys):
            for j, key in enumerate(row):
                # 计算按键的x坐标
                key_x = j * 60 + 50  
                # 计算按键的y坐标
                key_y = i * 60 + 150  
                # 检查食指坐标是否在按键范围内
                if key_x < x < key_x + 50 and key_y < y < key_y + 50:
                    # 检查按键是否在1秒内被按压过
                    if current_time - key_press_times[key] > 1:
                        # 更新按键的上次按压时间
                        key_press_times[key] = current_time  
                        # 绘制按压效果
                        cv2.rectangle(image, (key_x, key_y), (key_x + 50, key_y + 50), (0, 255, 0), -1)
                        cv2.putText(image, key, (key_x + 15, key_y + 35), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 255, 255), 2)
                        print(f'Key {key} pressed')
                        # 模拟键盘输入
                        if key == ' ':
                            keyboard.press(' ')
                            keyboard.release(' ')
                        elif key == 'BACKSPACE':
                            keyboard.press('\b')
                            keyboard.release('\b')
                        else:
                            keyboard.press(key)
                            keyboard.release(key)

while True:
    # 读取摄像头图像
    success, image = cap.read()  
    if not success:
        break

    # 翻转图像
    image = cv2.flip(image, 1)  
    # 转换为RGB格式
    image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)  
    # 处理图像，检测手部
    results = hands.process(image_rgb)  

    if results.multi_hand_landmarks:
        for hand_landmarks in results.multi_hand_landmarks:
            # 绘制手部连接线
            mp_drawing.draw_landmarks(image, hand_landmarks, mp_hands.HAND_CONNECTIONS)  
            landmarks = hand_landmarks.landmark
            # 检测按压
            detect_key_press(landmarks, image)  

    # 绘制虚拟键盘
    draw_keyboard(image)  
    # 显示图像
    cv2.imshow('Virtual Keyboard', image)  

    # 按下ESC键退出
    if cv2.waitKey(1) & 0xFF == 27:  
        break

# 释放摄像头
cap.release()  
# 销毁所有窗口
cv2.destroyAllWindows()

效果展示

WenJGo
关注
  • 7
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
图形世界分裂的两派——理清D3D和OpenGL的脉络
qq_44894420的博客
04-13 539
图形世界分裂的两派——理清D3D和OpenGL的脉络
图形世界分裂的两派——理清Direct3D和OpenGL的脉络
weixin_30616969的博客
01-31 680
计算机三维图形是指将用数据描述的三维空间通过计算转换成二维图像并显示或打印出来的技术，API(Application Programming Interface)即“应用程序接口”是连接应用程序与操作系统、实现对计算机硬件控制的纽带，Direct3D和OpenGL是目前的两大3D图形 API，要在你的3D显卡上进行3D特效的制作、实现都必须通过它们（Vooodoo迷们肯定对Glide接口记忆尤...
虚幻4引擎将至!从虚幻看游戏引擎发展
痞子龙3D编程
03-11 6077
3D游戏引擎是个什么玩意     泡泡网显卡频道5月23日  在某游戏中的一个场景中，玩家控制的角色躲藏在屋子里，敌人正在屋子外面搜索玩家。突然，玩家控制的是一个穿迷彩服的士兵，突然碰倒了桌子上的一个杯子，杯子坠地发出破碎声，敌人在听到屋子里的声音之后聚集到玩家所在位置，玩家开枪射击敌人，子弹引爆了周围的易燃物，产生爆炸效果。在这个简单而常见的过程中，游戏引擎便在后台起着
新型计算机作文1000,科幻的作文1000字（精选9篇）
weixin_34010461的博客
07-21 1023
科幻的作文1000字(精选9篇)在平日的学习、工作和生活里，说到作文，大家肯定都不陌生吧，作文是从内部言语向外部言语的过渡，即从经过压缩的简要的、自己能明白的语言，向开展的、具有规范语法结构的、能为他人所理解的外部语言形式的转化。那么你有了解过作文吗？下面是小编为大家整理的科幻的作文1000字(精选9篇)，供大家参考借鉴，希望可以帮助到有需要的朋友。科幻的作文1公元4015年，由于科技的发达，宇宙...
7年秘密研发，Meta拿下元宇宙「登月项目」！气动手套让指尖有真实触感
zandaoguang的博客
11-17 126
视学算法报道编辑：好困 小咸鱼【新智元导读】近日，Meta首次展示了秘密研发了七年的项目：「气动触觉手套」，颇具科幻魅力。这种触觉手套可以通过气囊让你体验到抓取虚拟物体时的真实触感。对...
大牛——心声
weixin_33762130的博客
02-06 1346
如何成为编程高手 第一阶段 此阶段主要是能熟练地使用某种语言。这就相当于练武中的套路和架式这些表面的东西。 第二阶段 此阶段能精通基于某种平台的接口（例如我们现在常用的Win 32的API函数）以及所对应语言的自身的库函数。到达这个阶段后，也就相当于可以进行真实散打对练了，可以真正地在实践中做些应用。 第三阶段 此阶段能深入地了解某个平台系统的底层，已经具有了初级的内功的能...
AR地图与虚拟现实技术
热门推荐
吴建明wujianming_110117
02-24 1万+
AR地图与虚拟现实技术 全景汽车 AR 导航地图 ADAS（高级辅助驾驶） —前车距离监测：专业精准的前车识别算法，追踪前车的距离和速度，反馈到手机屏幕。 —前车碰撞预警：根据车速与前车距离智能判断碰撞风险，提前预警防追尾。 —车道偏离预警：未打转向灯偏离方向时发出警报，防止因疲劳驾驶冲出车道。（需机智豆支持） —前车启动预警：等红灯看手机，前车走了提醒你。 —溜车提醒：避免跟车近时低速追尾。 导航 —专业实时的手机地图，覆盖全国，保障高精度。 —智能导航躲避拥堵，根据偏好选择路线。 —实时路况显示，行车时
移动直播“新基建”——保利威直播舱体验测评
cover_se的博客
04-28 12
随着网络技术的不断发展，“直播”已经越来越成为了各行各业营销的基础工具，特别是受新冠肺炎疫情影响，传统线下销售模式受到冲击，线下店铺经营受阻，企业纷纷试水“直播”。据统计，在疫情期间，超过60%的企业线下活动搬到了线上。艾瑞咨询的报告显示，预计未来企业直播服务有望成为企业业务标配，企业直播市场2020年达到35亿元以上规模。   颠覆直播业，保利威直播舱震撼问世   企业直播是主要面向企业级用户提供视频直播服务，以视频互动技术、大数据、人工智能等技术为依托，为企业提供数字学习技术和数字营销解决方案。
玩到全身僵直！07年最强的9款PC游戏
泡泡糖的专栏
09-03 5755
作者:aeleven原文出处:http://diybbs.pconline.com.cn/topic.jsp?tid=7521973 　　对于在PC平台上非常吃香的网络游戏，着实让游戏机平台眼红，但在家用机擅长的单机游戏上，PC平台也不甘示弱。PC硬件的快速发展和进步同时也带动了PC单机游戏的发展，不少效果华丽的优秀作品在今年诞生。前有《命令与征服3》，后有DX10大作《Crysis》，而最近
javascript软键盘(虚拟键盘)
06-11
JavaScript软键盘，也被称为虚拟键盘，是Web应用中常见的一种组件，特别是在移动设备或触摸屏环境中，为了提高用户输入安全性及交互体验而设计。本文将深入探讨JavaScript软键盘的实现原理、功能特性以及如何在实际...
ARM Linux Ubuntu 虚拟键盘配置文件及配置说明
06-04
在嵌入式开发领域，尤其是基于ARM架构的Linux系统中，使用虚拟键盘是常见的需求，尤其是在没有物理输入设备或者输入设备有限的情况下。本资源提供的"ARM Linux Ubuntu 虚拟键盘配置文件及配置说明"正是为了解决这个...
VB 虚拟键盘 软键盘
08-15
【VB虚拟键盘软键盘】是一种基于Visual Basic（VB）编程语言开发的软件工具，主要用于在没有物理键盘的环境中，如触摸屏设备上提供输入功能。它通过模拟键盘布局，允许用户通过屏幕上的按键来输入文字，极大地提升了...
打开软键盘！
12-13
防止木马偷窥你的键盘输入！ 输密码的时候最好用这个！ 还有就是因为懒·~ 主要是懒！
qml 软键盘 虚拟键盘
04-27
在QML（Qt Quick）开发中，经常遇到与用户交互的部分，软键盘和虚拟键盘的管理就是其中之一。本文将深入探讨如何在QML程序中处理软键盘和虚拟键盘的显示与控制，特别是在C++和QML混合编程时可能出现的问题。 标题...
LDR6020：重塑iPad一体式有线键盘体验的创新力量
Legendary_008的博客
07-19 515
LDR6020，作为一款功能强大的USB PD3.1协议通信芯片，不仅支持USB PD2.0、PD3.0协议，还集成了最新的PD3.1功能。这款芯片内置了高精度的USB-C接口，支持高速数据传输和PD快速充电，为iPad键盘提供了强大的技术支持。通过LDR6020，iPad键盘不仅实现了与iPad的无缝连接，还为用户带来了更加高效、便捷的充电和数据传输体验。高效充电，续航无忧得益于LDR6020芯片的PD快充功能，这款iPad键盘支持通过iPad的Type-C接口进行充电。
android11 屏蔽usb通过otg转接口外接鼠标设备
kevin's cache的专栏
07-18 515
考虑到屏蔽的层面可以从两个层面去做，一个是驱动层面不识别，一个就是Android系统层面不识别加载，本篇只讲后者。需求：Android设备通过接usb转接线连接鼠标功能屏蔽。可以看到，底层驱动识别后，EventHub也识别了设备一些类型属性，软件平台：Android11。硬件平台：QCS6125。
Unigine心得之村长的野望1 - 键盘鼠标控制物体移动
ms44的专栏
07-18 696
前几日写了一个小DEMO用到键盘用ASDW等按键控制一个物体的上下左右移动和旋转等操作。2：我的代码操作的是mSelectedNode,这个节点对象请自行准备。但相信可以作用在几乎所有的Unigine版本中。因为都是基础操作函数。//用aswd控制上下左右的位置变化，参考游戏控制。这个是一个非常基础的简单控制，但是查询官方文档也是很吃力。因此，分享在此处，方便大家不用闭门造车，重复造车。//用wr控制左侧旋转和右侧。//有当前对象才操作。1：移动旋转速度，自行控制。//设置旋转和移动的速度。
unity 实现图片的放大与缩小（根据鼠标位置拉伸放缩）
最新发布
小柒的博客
07-22 146
unity 实现图片的放大与缩小，根据鼠标位置拉伸放缩
求n！，要求n从键盘输入
06-01
好的，以下是Python代码，可以实现从键盘输入一个数 n，然后计算 n 的阶乘： ```python import math n = int(input("请输入一个整数 n：")) result = math.factorial(n) print("{} 的阶乘是 {}".format(n, result)) ``` 运行程序后，会要求您输入一个整数 n。程序将会使用 `math.factorial(n)` 函数计算 n 的阶乘，并将结果打印到屏幕上。 需要注意的是，`input()` 函数返回的是字符串类型，我们需要使用 `int()` 函数将其转换为整数类型，才能使用 `math.factorial()` 函数计算阶乘。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WenJGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值