OpenCV 练手（一）--实现视频虚拟键盘

最新推荐文章于 2022-03-05 13:55:17 发布
最新推荐文章于 2022-03-05 13:55:17 发布
阅读量2.5k 收藏 47
点赞数 4
文章标签： opencv python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39036409/article/details/119977168
版权

OpenCV 实现虚拟键盘

前言

       小破站瞄到的视频，主要适合初学者或刚入门的人看。需要的可以直接搜标题应该就有。当然本文不是简单的Code copy,此文作为一个思路整理和学习笔记吧，希望对你有参考价值。

如有问题您可以留言评论指正，很期待探讨。

一、OpenCV是什么？

百度百科有，emmm，我的理解里就是一个强大的图像处理工具。

二、虚拟键盘实现效果

在这里插入图片描述

最终结果示意图

三、OpenCV实现流程

1.链接摄像头，获取视频流

cap = cv2.VideoCapture(0)#参数是0，表示打开笔记本的内置摄像头，参数是视频文件路径则打开视频，
						 #如cap = cv2.VideoCapture(“../test.mp4”)
cap.set(3,1280)#设置视频宽度
cap.set(4,720)#设置视频长度
while True:
    success,img = cap.read()#cap.read()按帧读取视频，ret,frame是获cap.read()方法的两个返回值。
    						#其中ret是布尔值，如果读取帧是正确的则返回True，如果文件读取到结尾，
    						#它的返回值就为False。frame就是每一帧的图像，是个三维矩阵。
    cv2.imshow("Image",img)#链接窗口名为Image
    cv2.waitKey(1)#延时1ms输出下一张图像

cap.set()详细参数说明《传送门》

2.识别手势

detector = HandDetector(detectionCon=0.8)#设置置信度
img = detector.findHands(img)#手部定位
lmList,bboxInfo = detector.findPosition(img)#手部节点标记

       虽然视频中调用的是cvzone.HandTrackingModule去进行手部图像的识别，但是查看其GitHub源码可知，其调用的也是Google的mediapipe，Google开源的一个强大的图像标记处理库。

3.绘制界面键盘

#键盘关键字
keys = [['Q','W','E','R','T','Y','U','I','O','P'],
        ['A','S','D','F','G','H','J','K','L',';'],
        ['Z','X','C','V','B','N','M',',','.','/']]
#Button的主要目的就是为了将位置，大小，内容link在一起，方便后面使用
class Button():
    def __init__(self,pos,text,size = [50,50]):
        self.pos = pos
        self.text = text
        self.size = size
#创建由Button对象组成的List  
for j in range(len(keys)):
    for x,key in enumerate(keys[j]):
        buttonList.append(Button([60*x+20,100+j*60],key))
#在图像流上绘制键盘
def drawAll(img,buttonList):
    for button in buttonList:
        x, y = button.pos
        w, h = button.size
        #绘制矩形底框，填充色为RGB（255, 0, 255）
        cv2.rectangle(img, but，ton.pos, (x + w, y + h), (255, 0, 255), cv2.FILLED)
        #按键盘布局排列keys
        cv2.putText(img, button.text, (x + 10, y + 40),
                    cv2.FONT_HERSHEY_PLAIN, 3, (255, 255, 255), 2)
    return img

4.获取选择的字母

食指指尖选择，中指指尖确认
在这里插入图片描述

lmList的Index所对应的相应节点
#lmList为手部节点坐标
if lmList:
   for button in buttonList:
       x,y = button.pos
       w,h = button.size
       #lmList[8]为食指指尖坐标，lmList[12]为中指指尖坐标
       if x<lmList[8][0]<x+w and y<lmList[8][1]<y+h:
           l,_,_ = detector.findDistance(8,12,img,draw=False)
           if l < 30:
           	   #用户UI反馈，选中后修改字体和底部矩形颜色
               cv2.rectangle(img, button.pos, (x + w, y + h), (0, 255, 0), cv2.FILLED)
               cv2.putText(img, button.text, (x + 10, y + 40),
                           cv2.FONT_HERSHEY_PLAIN, 3, (255, 255, 255), 2)
               #设定间隔时间，避免多次选择同一字母
               sleep(0.2)

5.模拟真实键盘输入

#输入结果显示于图像
cv2.rectangle(img, (20,350), (600, 400), (175, 0, 175), cv2.FILLED)
cv2.putText(img, finalText, (20, 390),cv2.FONT_HERSHEY_PLAIN, 3, (255, 255, 255), 4)

6.扩展：修改键盘UI

def drawAll(img,buttonList):
    imgNew = np.zeros_like(img,np.uint8)
    for button in buttonList:
        x,y = button.pos
        w, h = button.size
        cvzone.cornerRect(imgNew,(x,y,w,h),20,rt = 0)
        cv2.rectangle(img, button.pos, (x + w, y + h), (255, 0, 255), cv2.FILLED)
        cv2.putText(img, button.text, (x + 10, y + 40),
                    cv2.FONT_HERSHEY_PLAIN, 3, (255, 255, 255), 2)
    out = img.copy()
    alpha = 0.5
    mask = imgNew.astype(bool)
    print(mask.shape)
    out[mask] = cv2.addWeighted(img,alpha,imgNew,1-alpha,0)[mask]
    return out

7.完整代码

'''
1.链接摄像头
2.识别手势
3.绘制键盘
 3.1创建键盘字母List
 3.2通过循环绘制键盘
4.根据坐标，取得返回字母
 4.1 利用lmList[8]食指之间坐标，判断选中的字母
 4.2 利用食指与中指之间的距离，确认输入的字母
 5.扩展，修改键盘背景
 6.利用pynput模拟真实键盘输入
'''
import cv2
from cvzone.HandTrackingModule import HandDetector
from time import sleep
import numpy as np
import cvzone
from pynput.keyboard import Key,Controller
cap = cv2.VideoCapture(0)
cap.set(3,1280)
cap.set(4,720)
#识别手势
detector = HandDetector(detectionCon=0.8)
keyboard = Controller()
#键盘关键字
keys = [['Q','W','E','R','T','Y','U','I','O','P'],
        ['A','S','D','F','G','H','J','K','L',';'],
        ['Z','X','C','V','B','N','M',',','.','/']]
class Button():
    def __init__(self,pos,text,size = [50,50]):
        self.pos = pos
        self.text = text
        self.size = size
    # def draw(self,img):
    #     x,y = self.pos
    #     w,h = self.size
    #     cv2.rectangle(img, self.pos, (x+w,y+h), (255, 0, 255), cv2.FILLED)
    #     cv2.putText(img, self.text, (x+10,y+40),
    #                 cv2.FONT_HERSHEY_PLAIN, 3,(255, 255, 255), 2)
    #     return img
buttonList = []
finalText = ''
for j in range(len(keys)):
    for x,key in enumerate(keys[j]):
        #循环创建buttonList对象列表
        buttonList.append(Button([60*x+20,100+j*60],key))
#mybutton = Button([100,100],"Q")
def drawAll(img,buttonList):
    for button in buttonList:
        x, y = button.pos
        w, h = button.size
        cvzone.cornerRect(img,(x,y,w,h),20,rt = 0)
        cv2.rectangle(img, button.pos, (x + w, y + h), (255, 0, 255), cv2.FILLED)
        cv2.putText(img, button.text, (x + 10, y + 40),
                    cv2.FONT_HERSHEY_PLAIN, 3, (255, 255, 255), 2)
    return img
# def drawAll(img,buttonList):
#     imgNew = np.zeros_like(img,np.uint8)
#     for button in buttonList:
#         x,y = button.pos
#         w, h = button.size
#         # cvzone.cornerRect(imgNew,(button.pos[0],button.pos[1],button.size[0],button.size[1]),20,rt = 0)
#         cv2.rectangle(img, button.pos, (x + w, y + h), (255, 0, 255), cv2.FILLED)
#         cv2.putText(img, button.text, (x + 10, y + 40),
#                     cv2.FONT_HERSHEY_PLAIN, 3, (255, 255, 255), 2)
#         out = img.copy()
#         alpha = 0.1
#         mask = imgNew.astype(bool)
#         print(mask.shape)
#         out[mask] = cv2.addWeighted(img,alpha,imgNew,1-alpha,0)[mask]
#         return out
while True:
    success,img = cap.read()
    #识别手势
    img = detector.findHands(img)
    lmList,bboxInfo = detector.findPosition(img)

    # img = mybutton.draw(img)
    img = drawAll(img,buttonList )
    if lmList:
        for button in buttonList:
            x,y = button.pos
            w,h = button.size
            if x<lmList[8][0]<x+w and y<lmList[8][1]<y+h:
                cv2.rectangle(img, (x-5,y-5), (x + w + 5, y + h + 5), (175, 0, 175), cv2.FILLED)
                cv2.putText(img, button.text, (x + 10, y + 40),
                            cv2.FONT_HERSHEY_PLAIN, 3, (255, 255, 255), 2)

                l,_,_ = detector.findDistance(8,12,img,draw=False)
                print('中指(12)和食指(8)之间的距离：',l)
                if l < 30:
                    keyboard.press(button.text)
                    cv2.rectangle(img, button.pos, (x + w, y + h), (0, 255, 0), cv2.FILLED)
                    cv2.putText(img, button.text, (x + 10, y + 40),
                                cv2.FONT_HERSHEY_PLAIN, 3, (255, 255, 255), 2)
                    finalText += button.text
                    print('当前选中的是：', button.text)
                    sleep(0.2)
    cv2.rectangle(img, (20,350), (600, 400), (175, 0, 175), cv2.FILLED)
    cv2.putText(img, finalText, (20, 390),
                cv2.FONT_HERSHEY_PLAIN, 3, (255, 255, 255), 4)
    cv2.imshow("Image",img)
    cv2.waitKey(1)

总结

Ending：
       一个学习记录，其实还有可以改善的地方，例如可以换用mediapipe实现，页面UI原视频也是提供一个引导，还有可以改善的空间，以及人物背景切换，不要视频直接采集的背景，等等，后面继续完善技能树，争取一周两篇学习文章，学海无涯，输出就是最高效的输入，共勉。

百世可乐有点甜
关注
  • 4
    点赞
  • 踩
  • 47
    收藏
    觉得还不错? 一键收藏
  • 12
    评论
探索CVZone：深度学习视觉任务的利器
gitblog_00078的博客
04-25 579
探索CVZone：深度学习视觉任务的利器 项目地址:https://gitcode.com/cvzone/cvzone 项目简介 CVZone 是一个基于Python的开源库，专注于计算机视觉（Computer Vision）领域的研究和开发。该项目由一群热爱深度学习的开发者创建，旨在简化CV任务的实验流程，提供丰富的代码示例和工具，帮助研究人员和开发者快速实现、验证和优化他们的算法。 技术分析 ...
Opencv项目实战Vision-Life（1） 虚拟键盘
yzfzzz的博客
02-18 2669
OpenCV 是最流行的计算机视觉任务库，它是用于机器学习、图像处理等的跨平台开源库，用于开发实时计算机视觉应用程序。 CVzone 是一个计算机视觉包，它使用 OpenCV 和 Media Pipe 库作为其核心，使我们易于运行，例如手部跟踪、人脸检测、面部标志检测、姿势估计等，以及图像处理和其他计算机视觉相关的应用程序。
使用opencv和mediapipe控制虚拟键盘
weixin_41747193的博客
12-27 2810
在写上篇文章的时候 ，我尝试用双手同时在屏幕中显示手势，然后我发现，我还需要做屏幕截图，这是我就在想，如果可以用手势控制键盘，操作快捷键就好了。然后，就有了这篇文章。网上有很多这方面的教程或者视频，但是都是用CVZONE开发的，我也发现，使用CVZONE确实很方便，但是当我写完代码运行的时候，却报错了，可能是CVZONE的版本问题，或者其他原因，反正我查看CVZONE的源代码，没看到我想使用的函数（方法）的接口，好在我们有上篇文章的底子，可以直接来使用或者手势的检测跟踪、手势判别和关键点的左...
基于Opencv的虚拟键盘（附完整代码及报告）
m0_61413237的博客
03-05 4657
记一次opencv小项目
通过OpenCV实现虚拟键盘
m0_53959739的博客
08-24 1818
通过OpenCV实现虚拟键盘 环境配置 在Anaconda中创建一个python=3.7的环境 可在pycharm内直接新建环境，也可以通过命令行的方式 conda create -n your_env_name python=x.x 激活或者切换虚拟环境 activate your_env_name 然后对此虚拟环境中安装额外的包 pip install cvzone Collecting cvzone Using cached cvzone-1.4.1.tar.gz (11 kB) Collec
基于opencv的虚拟键盘
07-29
Virtual Paper Keyboard Using OpenCV
使用OpenCV创建虚拟键盘
weixin_43468848的博客
12-01 2837
使用OpenCV创建虚拟键盘 一个很有意思的项目，链接里面有项目介绍，以及源代码。有兴趣的可以看看。（转载） link https://bbs.cvmart.net/articles/5836
opencv虚拟键盘
qq2650326396的博客
12-28 2056
opencv可打字母的虚拟键盘 需要安装的依赖 pip install opencv-python pip install cvzone==1.4.1 pip install numpy import cv2 from cvzone.HandTrackingModule import HandDetector from time import sleep import numpy as np import cvzone from pynput.keyboard import Controller cap
基于OpenCV的激光投影虚拟键盘设计
05-26
基于OpenCV结合图像摄像头和980NM椅子红外激光和980NM红外滤光片以及键盘激光组成
虚拟键盘（OpenCV）
狭路相逢勇者胜
06-24 2647
 Chf.h#ifndef _CUSTOM_HEADER_FILES_#define _CUSTOM_HEADER_FILES_//////////////////////////////////////////////////////////////所需头文件#include #include #include #include #include
OpenCvSharp-4.0.0-x86-20181130.zip
01-12
OpenCvSharp-4.0.0-x86 C# Opencv开发
android-sdk-opencv-4.5.5&opencv-contrib-4.5.5-arm64-v8a
07-07
1.android 版的opencv-4.5.5 sdk； 2.含有opencv-contrib-4.5.5 扩展模块； 3.可以在android studio 中加载，通过java 层调用，也可以添加so库+头文件的方式在jni 层调用； 4.适用于arm64-v8a架构，即64bit cpu。
KD-Tree 开源实现以及 OpenCV KD-Tree 使用
06-23
KD-Tree 开源实现以及 OpenCV KD-Tree 使用
OpenCV 4.9.0 android sdk - 2024 年最新版
最新发布
10-07
OpenCV（Open Source Computer Vision Library）是一个开源的计算机视觉和机器学习软件库，包含了超过2500种优化的算法。这个 SDK 包含了所有你需要开始你的 OpenCV 项目的必要库和文件。下载后的文件格式为 ZIP，...
opencv4.7.0-opencv-contrib-4.7.0-windows-cuda编译版本
05-18
opencv4.7.0-opencv_contrib-4.7.0-windows-cuda编译版本 文件包括：include，lib，dll 可用于深度学习基于CUDA进行推理；
opencv实战项目（1）—— 虚拟键盘
m0_53257476的博客
01-23 4507
1.导入库2.链接摄像头3.进行手势跟踪4.创建按键类5.计算按键大小6.绘制键盘7.获取手部信息8.设置触碰按键的变化9.设置点击按键的变化10.规定每个按键的功能11.显示字符12.显示一帧图片
如何使用 OpenCV 开发虚拟键盘
pylittlebrat的博客
11-26 2567
介绍 OpenCV是最流行的计算机视觉任务库，它是用于机器学习、图像处理等的跨平台开源库，用于开发实时计算机视觉应用程序。 CVzone 是一个计算机视觉包，它使用 OpenCV 和 Media Pipe 库作为其核心，使我们易于运行，如手部跟踪、人脸检测、面部标志检测、姿势估计等，以及图像处理和其他计算机视觉- 相关的应用程序。请点击这里获取更多信息。 使用 OpenCV 实现虚拟键盘 让我们创建一个虚拟键盘。 首先，让我们安装所需的模块。 ---> pip 安装 numpy ---> pi
模拟鼠标键盘操作，依托opencv实现程序ui自动操作
owl520的专栏
05-14 508
上代码： from pykeyboard import * from pymouse import * '''import win32pi''' m=PyMouse() k=PyKeyboard() '''m.click(50,50,1,2)''' x,y=m.screen_size() print("x,y",x,y) ''' 环境安装好了，晚点编代码调试 ''' '''测试opencv''' import cv2 import numpy as np import pyautogui import
`pkg-config opencv --cflags --libs`
07-27
`pkg-config opencv --cflags --libs` 是一个用于获取 OpenCV 编译选项和链接选项的 pkg-config 命令。 `--cflags` 选项返回用于编译代码所需的选项，包括头文件路径和其他编译选项。 `--libs` 选项返回用于链接代码所需的选项，包括库文件路径和其他链接选项。 通过在终端中运行 `pkg-config opencv --cflags --libs` 命令，你可以获取适用于当前系统上已安装的 OpenCV 版本的编译和链接选项。这些选项可以用于确保在编译和链接项目时正确地包含和链接 OpenCV 库。 请注意，为了使用 `pkg-config` 命令，你需要在系统上安装了相应的 pkg-config 工具，并且已正确安装和配置了 OpenCV 库。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值