前言
在我的前几篇文章中,已经实现的基于Zynq 7010开发板实现的HID模拟鼠标。现在尝试通过YoloV5模型实现一个自动瞄准辅助。
首先确保已经安装了pytorch,若没有可以前往pytorch官网进行安装,其官网提供了一键命令,非常方便
一、下载YoloV5仓库
前往yolov5的github项目仓库,克隆到本地
yolov5 github网址
git clone https://github.com/ultralytics/yolov5.git
安装其要求库
pip install -r requirements
下载后,可以先熟悉一下yolov5的使用方法,可参考其官方文档,我这里给出一个示例,后面的图片路径换成你自己的:
# 在终端中调用其detect.py
python detect.py --source ..\test.png
具体参数很多,这里不一一列出。可以在其文件夹run->exp**文件夹下查看结果:
首次运行后,会下载一个yolov5s.pt的权重文件在项目地址下
二、图片截取
我的想法是获取一个以准星为中心的一个矩形图片,例如640*640,下面介绍两种截图的方法。主要用到pyautogui(获取鼠标位置)、pillow(截图方案1)、mss(截图方案2)三个库。此外opencv、numpy等是必需的因为会在模型调用中用到。
1.使用PIL
import pyautogui
from PIL import ImageGrab, ImageShow
def screen_catch():
mouse_x, mouse_y = pyautogui.position()
box = (mouse_x - half_size, mouse_y - half_size, mouse_x + half_size, mouse_y + half_size)
screen_shot = ImageGrab.grab(box)
# ImageShow.show(screen_shot) # 显示图片
screen_shot_cv = cv2.cvtColor(np.array(screen_shot), cv2.COLOR_RGB2BGR) # 把PIL捕获的图片转换成opencv支持的格式
return screen_shot_cv
2.使用mss
from mss import mss
def screen_catch():
with mss() as sct:
mouse_x, mouse_y = pyautogui.position() # 获取鼠标当前位置
monitor = {
"top": mouse_y - size // 2, "left": mouse_x - size // 2, "width":size, "height": size}
screenshot = sct.grab