基于YOLOv5的FPS类游戏瞄准辅助（附可用于CSGO的模型）

已于 2023-08-06 10:12:22 修改
阅读量1.1w 收藏 159
点赞数 22
文章标签： YOLO 游戏 pytorch 计算机视觉 深度学习
于 2023-05-24 19:54:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56558777/article/details/130852495
版权

本文来自作者去年写的一个小项目，项目使用YOLOv5-2.0和PyTorch，实现了一款基于目标检测算法的射击类游戏瞄准辅助，俗称“AI外挂”。（文中含项目地址及演示视频，项目中提供了作者预训练的可用于CSGO的模型。）

项目地址：https://github.com/Aa-bN/AimYolo

文章目录

一、前言

本文整理自作者去年写的一个小项目，出于个人兴趣而写，为demo级别，较为粗糙，优化空间很大。灵感来源于B站up主“林亦LYi”的视频。

1.1 项目地址

1.2 项目结构

1.3 注意事项

  • *本项目旨在激起深度学习、游戏安全等方面爱好者的兴趣，仅供学习交流
  • *切勿用于盈利及违法用途，以及进行任何破坏游戏公平的行为
  • 联网测试有封号风险，推荐断网使用
  • 推荐结合Anaconda部署并使用
  • 10系显卡效果明显不如30系（o(╥﹏╥)o）

值得注意的是，AI外挂几年前就已经出现，最初为YouTube上的一位创作者开发，网络上也可以找到一些版本。本项目理论上可以用于CSGO、APEX、PUBG等多种游戏，实际以CSGO为例进行了模型的开发与使用。相对于传统外挂，AI外挂多基于目标检测算法，不会修改游戏的本地内存，也不会上传恶意数据。本文后续有6个部分：开发过程、模型开发、核心代码、项目部署与展示、总结与参考。

二、开发过程

本节分为总体设计、屏幕实时捕获、鼠标定位与移动和代码重构等4个部分。

2.1 总体设计

项目整体分为8个模块，看图。（づ￣3￣）づ╭❤～

1.总体思路

  • 参数获取：继承自YOLO，个性化参数，如指定模型对目标的检测部位（头部、身体等）
  • 屏幕截取：CPU或GPU截图，截图时间尽可能短，可指定屏幕截图区域
  • 预处理：截图数据转为tensor数据类型，与YOLO接口一致
  • 模型推理：图像数据交付核心模型，进行检测
  • 坐标计算：根据模型的推理数据，计算目标位置的坐标
  • 鼠标移动：将鼠标移动至对应坐标，如头部、身体及其中心位置
  • 专用/通用数据集：如CSGO数据集（标注CT，CT_Head，T，T_Head），传统人体识别数据集等
  • 模型训练：由于待检测目标一般较少，且对速度要求较高，选取s版本的模型
  • 整体：整体采用单进程，在While循环中持续检测，并设置信号用于结束进程，后续完善为根据指定键位，更改AI姿态（大概会吧T_T）

2.2 屏幕实时捕获

这里并非真正的实时，而是从屏幕截取到模型推理，再到鼠标移动，整个过程的用时很少，宏观感受为实时。废话少说，看图（づ￣3￣）づ╭❤～。

2. 屏幕实时捕获

  • CPU截屏：采用mss库进行截屏；也可以采用d3dshot库进行GPU截屏，但其中会涉及numpy和tensor数据的运算速度、显卡的设置问题，不推荐
  • 实时截图与展示：将截取的画面实时展示，便于测试与直观感受，根据参数配置作为可选项

以只因哥打篮球的视频为例，这个部分的效果应该是这样的。（づ￣3￣）づ╭❤～

坤哥打球实时检测

2.3 鼠标定位与移动

关于鼠标的定位与移动，需要搞清几个问题，看图（づ￣3￣）づ╭❤～。

3.direct-input

2.3.1 鼠标定位

  • 即让鼠标搞清自己的定位
  • step1. 获取鼠标当前位置的坐标/像素
  • step2. 结合YOLO，根据检测框计算坐标
  • step3. 计算欧式距离，移动鼠标
  • 特别注意（部分问题会在核心代码部分解释）
    • 鼠标移动时的绝对距离与相对距离（一般为相对距离，故计算了欧氏距离）
    • 物理距离与分辨率不一致的问题 （开启DPI感知）
    • 一些游戏需要关闭原始输入

2.3.2 鼠标移动

  • A. Windows程序鼠标移动机制
    • 如图，传统机制已经满足不了当下大型游戏的需求
  • B. DirectX游戏开发
    • 微软开发的多媒体编程接口，具有更快的响应速度
    • 导致PyAutoGui、Pynput等采用Virtual Key Codes的键鼠控制库失效
  • C. 绕过限制
    • 更先进的Scan Codes和Win32 Sendinput方法，实现游戏内的键鼠快速控制
    • 如图，采用了Ctypes库
    • 在一些老游戏，如CS1.6中，则不用考虑这些

2.4 代码重构

重构了YOLOv5中的detect.py：保留核心模型，更改原有逻辑，添加自定义功能。看图。（づ￣3￣）づ╭❤～

4.代码重构

更多细节留给核心代码部分。

三、模型开发

本节分为模型结构、数据集和模型训练等3个部分。

3.1 模型结构

采取的模型结构，看图。具体介绍可参考江佬的博客，该图也源此。（づ￣3￣）づ╭❤～

5.yolov5s

需要说明的是：

  • 代码版本：YOLOv5-2.0
  • 选取模型：Pretrained YOLOv5s，后续训练时，以此为依托，进行不太严格的fine-tune
  • 任务类型：目标检测

3.2 数据集

本小节对使用的数据集进行介绍。

3.2.1 CSGO专用数据集

数据集项目地址，点此进入。时间有限，并没有进行数据集的构建，当时，这个项目解决了博主的燃眉之急。值得说明的是，该项目的创作者也附加了一些单纯的检测代码。

3.2.2 检测类别

检测类别数：4，包括 ct, t, t_head, ct_head，即反恐精英，恐怖分子，恐怖分子头部，反恐精英头部。这有利于模型进行目标身体或头部的检测与锁定。

3.2.3 数据集划分

图片总数：800张。博主进行手动（不够随机）划分->训练集：700张，验证集：100张。

3.2.4 数据分布特征

6.数据分布特征

3.2.5 数据示例

img_250.jpg的原始图像信息、标签信息，以及一些图片的groundtruth如下。（づ￣3￣）づ╭❤～

7.img_250.jpg

8.img_250_label

9.test_batch

3.3 模型训练

本小节展示了训练过程中产生的数据和预测效果。

3.3.1 超参数

1011

3.3.2 训练结果

12.results
13.result_txt

3.3.3 预测效果

14.test
需要说明的是，模型在预训练（pretrained）的YOLOv5s的权重基础上，进行了不太严格的微调（fine-tune）。图中示例均为模型训练200轮的结果。实际上，模型在训练50轮时，就已经能够初步使用了。

四、核心代码

核心代码集中在z_captureScreen.py，z_ctypes，z_detect5.py中。

懒得写了，有空再补，相信以gie gie们的聪明才智，一定可以看明白哒，哒哒哒。（づ￣3￣）づ╭❤～

五、项目部署与展示

本节分为项目部署、使用和游戏内展示等3个部分。

5.1 项目部署

  • A. Anaconda（推荐）和 PyTorch 的安装
  • B. 部署 YOLOv5
  • C. 自瞄模块的依赖库，可见项目的requirements.txt，依赖不多，也可根据报错安装

5.2 使用

  • 进入项目目录
  • python z_detect5.py [可选参数]，例如：
    • python z_detect5.py --view-img --classes 0 1 2 3
    • python z_detect5.py --classes 2
    • python z_detect5.py
    • …
  • 上述命令推荐在命令行中运行，在PyCharm中使用，可能出现win32相关库的报错

5.3 游戏内展示

CSGO中，注意在游戏内设置中关闭数据原始输入。

CSGO人机实战

六、总结

本节总结了一些问题。

  1. 小目标检测：对于小目标，存在误检，可能检测不到
  2. 鼠标移动：移动速度过快，无法最大程度仿真
  3. 弱点：后台实时运行的脚本 + 不自然的鼠标移动模式
  4. 可能的优化方向：远程外挂；多进程提速；数据集优化（增加人物模型等）；硬件性能提升（CPU+GPU）
  5. 三个问题：
    • A. 坐标不一致性
      • 监听器和控制器不一致，即屏幕的物理尺寸<分辨率。Python获取的鼠标位置对应屏幕的物理位置，而非对应的分辨率。
      • 解决方案：ctypes库，开启windows提供的DPI感知。
    • B.相对距离
      • 由于FPS类游戏，鼠标位置始终在屏幕中心，需要以目标位置与当前鼠标位置的相对距离，作为移动指标。
    • C.数据输入
      • 对于CSGO等FPS类游戏，游戏内需要关闭数据原始输入。
  6. 写在最后：博主并非专业人员，如有错误，请指正。

参考

懒得写了，有空再补。（づ￣3￣）づ╭❤～（づ￣3￣）づ╭❤～（づ￣3￣）づ╭❤～

北纬38度最后的ikun
关注
零基础机器学习做游戏辅助第十四课--原神自动钓鱼（四）yolov5目标检测
kfyzjd2008的博客
02-22 1153
目标检测有两种实现，一种是one-stage,另一种是two-stage，它们的区别如名称所体现的，two-stage有一个region proposal过程，可以理解为网络会先生成目标候选区域，然后把所有的区域放进分类器分类，而one-stage会先把图片分割成一个个的image patch，然后每个image patch都有M个anchor box，把所有的anchor送进分类器输出分类和检测位置。很明显可以看出，后一种方法的速度会比较快。
基于YOLOv5实现的射击类游戏瞄准辅助（FPS类游戏适用）附CSGO专用模型Python源码+详文档说明+数据+模型
06-07
基于YOLOv5实现的射击类游戏瞄准辅助（FPS类游戏适用）附CSGO专用模型Python源码+详文档说明+数据+模型。开发工程内容分为总体设计、屏幕实时捕获、鼠标定位与移动和代码重构等4个部分讲解，模型开发本节分为模型结构、数据集和模型训练等3个部分讲解，核心代码集中在z_captureScreen.py，z_ctypes，z_detect5.py中。 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。基于YOLOv5实现的射击类游戏瞄准辅助（FPS类游戏适用）附CSGO专用模型Python源码+详文档说明+数据+模型。开发工程内容分为总体设计、屏幕实时
#这是一个基于yolov5的ai自瞄，理论使用于所有fps游戏，本程序基于原始yoloV
最新发布
09-02
#这是一个基于yolov5的ai自瞄，理论使用于所有fps游戏，本程序基于原始yoloV5进行二次开_YoloV5-CfAim
基于pytorch框架和yolov5实现第一人称射击(FPS)游戏的辅助瞄准系统源码+项目说明.zip
12-15
基于pytorch框架和yolov5实现第一人称射击(FPS)游戏的辅助瞄准系统源码+项目说明.zip ​ 本程序基于pytorch框架与yolov5物体检测平台，实现了人工智能对FPS（第一人称射击）游戏的辅助瞄准。与传统游戏作弊方式不同，本程序不读取或改动游戏的内存数据，而是通过人工智能实时分析游戏画面、确定敌人位置并移动鼠标射击，反应流程与人脑相同，难以被普通反作弊方式检测。本程序的特点有： 单次识别过程经过反复优化，在RTX30系显卡下单次时延$\leq 0.1s$​ 前后端分离，前端启动器UI界面现代化、扁平化，提供参数调节功能并与后端通过json参数共享 设计演示模式，实时展现AI的识别过程 设计静态和动态模式，在敌人静态和近匀速运动时有可观的射击精准度 适配多款射击游戏，对CS:GO（《反恐精英:全球攻势》）单独优化，考虑到鼠标加速与鼠标灵敏度设置对程序参数的影响
FPS自动瞄准开源项目教程
gitblog_00243的博客
08-22 753
FPS自动瞄准开源项目教程 项目地址:https://gitcode.com/gh_mirrors/fp/FPSAutomaticAiming 项目介绍 FPSAutomaticAiming 是一个开源项目，旨在为第一人称射击游戏（FPS）提供自动瞄准功能。该项目利用先进的计算机视觉技术和机器学习算法，帮助玩家在游戏中实现更精准的瞄准。通过集成到游戏客户端或作为外部辅助工具，该项目可以显著提升玩家...
基于yolov5的csgo人物检测源码+模型+使用说明.zip
05-21
目前可用的模型为best，best2，其中best模型效果更优 使用方式 安装必要环境依赖，执行以下命令 pip install -r requirements.txt 执行main.py 操作说明 按e开始或者关闭鼠标锁定，按q退出程序 附带说明 csgo2_322和go目录下分别是用矩形和多边形打标的数据集，可以用于训练自己的模型
基于yolov5的FPS游戏
01-24
FPSAutomaticAiming——基于YOLOV5的FPS类游戏自动瞄准系统 声明: 本项目仅限于学习交流不可商用，不可用于非法用途。 鉴于个人科研学习任务繁重，本项目已经不再维护！2023/3/7 简介： 本项目基于yolov5,实现了一款FPS类游戏的自动瞄准系统。本项目旨在使用现有目标网络结构实现一个完整的落地项目，仅供人工智能及自动控制等方面的学习研究，不可用于非法用途！！！ 项目文档： 1.训练模型。 本项目的训练方法请查看yolov5相关文档。 2.使用。 启动前在utils/FPSUtils.py文件中修改屏幕分辨率，检测框范围等参数。 请在FPSdetect.py文件中修改模型位置:model = attempt_load('此处改为自己的路径\FPSAutomaticAiming\yolov5s.pt', map_location=device) # load FP32 model。 在Main.py中修改鼠标移动的相关代码为自己的鼠标移动代码。 修改好相关参数后直接运行Main.py启动本项目。 环境配置 1.软件环境 使用conda导入yolo.yam
探索自动化游戏新境界：基于YoloV5的DNF智能辅助
gitblog_00092的博客
06-15 1419
探索自动化游戏新境界：基于YoloV5的DNF智能辅助 项目地址:https://gitcode.com/c925777075/yolov5-dnf 在游戏世界里，自动化的辅助工具常常为玩家带来便利与效率的提升。今天，我们要推荐的是一款利用前沿计算机视觉技术——YoloV5——打造的游戏辅助工具，专门针对热门游戏《地下城与勇士》(DNF)，名为yolov5-DNF。这款开源项目不仅展示了AI在娱乐...
YOLO DNF辅助教程完结
kfyzjd2008的博客
09-11 3078
DNF自动过图，技能CD判断，yolo DNF手把手教程
利用yolov5和模板匹配制作游戏自动化脚本
m0_70851244的博客
12-16 3078
已经说了，用这个识别函数就能做到很多事了，如下：1、关闭副本提示。
Yolov5使用Ai实现FPS游戏自动瞄准
工宗浩生财指南针
06-14 6761
近年来，随着深度学习技术的发展，越来越多的自动瞄准工具开始出现，其中最为流行且表现出色的莫过于 Yolo 系列目标检测算法，特别是 Yolov5。在实现自动瞄准功能中，我们首先需要计算敌人距离屏幕的 xy 坐标点与当前鼠标的 xy 坐标点的距离。为了确定敌人的坐标并控制鼠标移动到敌人身上，我们需要获取游戏窗口的宽度和高度，并使用 Yolov5 来检测敌人的位置。在自动瞄准时，我们需要控制鼠标在游戏窗口内移动，因此需要获取游戏窗口的句柄。其中，窗口名称是游戏窗口的标题，可以通过查看窗口属性来获取。
FPS游戏辅助制作经典视频教程.zip
04-15
FPS游戏辅助制作经典教程
基于yolov5识别算法实现的DNF自动脚本源码.zip
04-27
游戏循环主逻辑: 屏幕抓取后实时图像识别 怪物识别，和怪物距离n像素，自动释放技能 配合小地图与当前图内人物，寻路去往下一个房间，进入下一个地图(自动寻路) 一直到boss房间，出现再次挑战，循环 小地图寻路 固定地图寻路:幽暗密林: → → → ↑ → 不固定最快boss寻路(直通:深度优先) 英雄房间与boss房间比较 x距离 y距离决定去往哪 最慢boss寻路(全图:广度优先)
基于YOLOv5的射击类游戏瞄准辅助工具python源码+项目说明+模型+数据 ( 附CSGO专用模型,）.zip
04-12
基于YOLOv5的射击类游戏瞄准辅助工具python源码+项目说明+模型+数据 (AI自瞄, FPS类游戏适用, 附CSGO专用模型,）.zip基于YOLOv5的射击类游戏瞄准辅助工具python源码+项目说明+模型+数据 (AI自瞄, FPS类游戏适用, 附...
基于YOLOv5的射击类游戏瞄准辅助工具python源码+项目说明+模型+数据 ( FPS类游戏适用, 附CSGO模型）.zip
04-10
基于YOLOv5的射击类游戏瞄准辅助工具python源码+项目说明+模型+数据 (AI自瞄, FPS类游戏适用, 附CSGO专用模型,）.zip # AimYolo AI——基于YOLOv5的射击类游戏瞄准辅助。An AI plug-in - targeting aid for shooting...
基于YOLOv5实现的射击类游戏瞄准辅助，FPS类游戏适用, 附CSGO专用模型Python源码+文档说明+数据+模型+博客介绍
01-13
基于YOLOv5的射击类游戏瞄准辅助，FPS类游戏适用, 附CSGO专用模型Python源码+文档说明+数据+模型+博客介绍 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后...
基于YOLOv5实现的射击类游戏瞄准辅助附CSGO专用模型Python源码+文档说明+数据+模型+博客介绍.zip
09-01
经导师指导并认可通过的高分设计项目。...3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。
用YOLO玩「吃鸡」？搭载AI的自瞄外挂来了！一枪爆头！又快又准...
热门推荐
阿木寺的博客
07-19 2万+
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：新智元来源：Twitter |编辑：Emil 好困【导读】科技树被点歪？好好的AI不去做CV，反而...
我需要一个yolov5的模型，用来搭建一个fps游戏的ai自瞄，我有csgo的人物头身数据集
05-17
首先，你需要在PyTorch中安装YOLOv5。你可以使用以下命令安装YOLOv5： ``` pip install yolov5 ``` 接下来，你需要准备你的数据集。你可以使用csgo的人物头身数据集作为训练数据。确保你的数据集包含了所有游戏中可能出现的人物头身类型。 在你的训练数据集准备好之后，你需要创建一个YOLOv5模型。你可以使用以下代码： ```python import torch from models.yolo import Model model = Model(cfg='yolov5s.yaml', ch=3, nc=80) ``` 在这里，`cfg`参数是YOLOv5配置文件的路径，`ch`参数是输入图像的通道数，`nc`参数是类别的数量。 接下来，你需要训练模型。你可以使用以下代码： ```python import torch from models.yolo import Model from utils.datasets import LoadImagesAndLabels from utils.general import non_max_suppression model = Model(cfg='yolov5s.yaml', ch=3, nc=80) dataset = LoadImagesAndLabels(path='./csgo_dataset') optimizer = torch.optim.Adam(model.parameters(), lr=0.001) for epoch in range(100): for images, targets in dataset: optimizer.zero_grad() loss = model(images, targets) loss.backward() optimizer.step() # 可以在这里添加代码，用于测试模型的性能 ``` 在这里，`path`参数是数据集的路径，`optimizer`参数是优化器。 最后，你可以使用YOLOv5模型进行预测。你可以使用以下代码： ```python import torch from models.yolo import Model from utils.datasets import LoadImages model = Model(cfg='yolov5s.yaml', ch=3, nc=80) dataset = LoadImages(path='./images') results = [] for images, paths in dataset: with torch.no_grad(): detections = model(images) results.append(detections) # 可以在这里添加代码，用于处理预测结果 ``` 在这里，`path`参数是图像的路径。`results`变量包含了所有图像的预测结果。
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值