我用全志V851s做了一个魔法棒,使用Keras训练手势识别模型控制一切电子设备

本文介绍了一款结合哈利波特元素的智能魔杖,使用全志V851s芯片实现手势识别控制电子设备,包括开原神游戏。通过蓝牙通信,低成本且易于复制,展示了硬件设计、软件开发和组装过程,以及蓝牙连接和APP控制的详细步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

这是一个可以直接启动原神的魔法棒~

原神,启动!

在这里插入图片描述

这是一个万全的解决方案!只需要花80元再动动手,就可以将哈利波特的魔杖与人工智能结合到一起!它就是用全志V851s做的赛博魔杖!

在这里插入图片描述

这个魔法手杖有啥亮点

手势识别“控万物”

它可以通过手势识别,控制一切你想控制的电子设备(灯、空调),也可开原神。

主要是通过识别手势画出来的字符控制,当前识别字符为字母 A~Z,也有数字 0~9等更多的模型。

在这里插入图片描述

控制的过程中,你也可以高喊一句阿瓦达!

关于手势控制精度,您可以参照开源代码仓库训练精度更高(当前准确率为 92%),可识别字符(当前为字母 A~Z,数字 0~9)更多的模型。

成本低,易复刻,有技术含量

总成本包含外壳只需要80元,如果你想要一个更好看的外壳,也可以自己替。

蓝牙通信

本魔杖使用蓝牙串口透传模块通信,可以用这个功能开启原神。

你可以参照代码仓库中的通信协议自行扩充本魔杖功能以及依此协议开发其他蓝牙终端,以达到遥控更多带有蓝牙的终端设备的目的。

硬件部分

这是魔杖本身的电路设计部分,其实并不复杂:

其基础硬件主要包含:全志 V851s,BMI088,HLK-B40。

在这里插入图片描述

在这里插入图片描述

魔杖如何轻松开关灯?多亏了这个开灯器打配合!看看它的电路吧:

在这里插入图片描述

在这里插入图片描述

整体配合效果就是这样的:

在这里插入图片描述

硬件设计参考:Yuzukilizard 柚木PI 迷你 AIoT 开发板

软件部分

通过本章节,你会了解到——AI手势识别功能是如何做到的。

1、软件构成

使用Keras训练手势识别模型,转为 TFlite 模型。

再通过谷歌提供的 TFlite C API 运行模型。

2、代码仓库

代码仓库顺序如下:

  • bmi088 获取挥棒手势数据
  • Keras 挥棒手势识别模型训练
  • V851s 赛博魔杖
  • 蓝牙控制的简易舵机开关灯装置_HLK-B40
  • 原神 蓝牙安卓启动器

1、在工程附件中可下载固件文件(文末有入口)。

在这里插入图片描述

2、将 TF 卡 通过读卡器连接电脑。
3、使用 全志提供的 PhoenixCard 软件。
4、按下图步骤下载固件到 TF 卡中。
在这里插入图片描述

5、固件下载完成后,插入 TF 卡槽中。
6、魔杖初次开机需要半分钟(正常开机会闪三下灯)。非初次则需要 8 秒时间开机,如果开机很久都没闪灯,请重启或检查硬件(可插入数据线连接电脑,重启魔杖并使用 MobaXterm 查看串口打印信息以确定原因)。
7、开机后进入陀螺仪初始化,期间会亮灯。也就是说,加上开机亮灯,会亮 4 次。
8、注意,本魔杖 Type-C 口正反插分别为 USB-OTG 和 串口,请插上去后查看电脑驱动,以确定哪一方向为串口。
9、开灯器固件在代码仓库下载源码,可自行编译或直接下载固件,参考 STC 51单片机程序下载方法。

搞定了这一步,就要开始组装魔杖了!

组装

①组装魔杖:在工程附件中可下载 3D 外壳文件,制作出来后按下图方式嵌入电路板及电池。

在这里插入图片描述

②组装开灯器:同上,有设计文件,制作出来后,按下图组装开灯器,注意红外头需引出。

在这里插入图片描述

不觉得很酷吗,科技并带着乐趣

蓝牙连接

以上操作完成并正常开机后,就可以尝试连接蓝牙了。

使用海凌科官网提供的 HLK-B40 软件 连接到蓝牙模块,

按照下图内容修改参数设置:

在这里插入图片描述

上图是魔杖的蓝牙模块配置,开灯器的蓝牙模块配置图略,魔杖和开灯器一个作主机一个做从机就行 了

同样使用海凌科官网提供的 HLK-B40 软件连接到蓝牙模块,按照下图内容修改参数 设置:

在这里插入图片描述

上图需要注意的点为透传相关 UUID。

三个 UUID 需要改成同一个才能和手机 APP 正常通信,否则手机只能连接模块但无法收发数据。

接着在代码仓库下载源码,自行编译,或直接下载 apk。

注意!手机 app 需要打开权限,否则无法正常使用。

在这里插入图片描述

此 APP 不联网,定位权限是使用蓝牙的前提,不会泄露您的任何信息。

开源项目资料获取

需要【软硬件资料+视频演示文件】,请“复制链接”进入开源页查看:https://oshwhub.com/realtix/cyber-wand-v851s_bmi088_keras

在这里插入图片描述

### v851s YOLO 技术文档和应用实例 #### 关于v851s平台上的YOLO实现 在v851s平台上,YOLO算法的应用主要集中在目标检测领域。对于该硬件架构而言,部署YOLO模型涉及到多个方面的工作,包括但不限于环境配置、模型转换以及性能优化等。 针对Tina Linux系统的V851se设备上部署YOLOv3模型的具体指导可以参见《Tina_Linux_NPU_yolov3模型部署指引》这份文档[^3]。此文档不仅涵盖了如何准备运行环境,还提供了详细的步骤来完成从预训练权重文件到最终可以在嵌入式系统中执行的目标检测应用程序的过程。 此外,在实际项目实践中,有开发者分享了关于不同版本YOLO(如YOLO Fastest, YOLOX, Nanodet等)之间的对比分析文章[^5]。这些资料可以帮助理解各个变种的特点及其适用场景,从而为选择最适合特定应用场景下的YOLO版本提供依据。 #### 实际案例展示 一个具体的例子是在TinyVision V851se系列处理器上实现了基于RTSP流媒体协议的实时视频监控中的物体识别功能。通过集成NPU加速单元并利用OpenCV库处理图像帧数据,能够有效地提升推理速度而不牺牲准确性。这样的解决方案非常适合应用于智能家居安防摄像头或其他需要低功耗高性能视觉计算能力的产品当中。 ```bash # 安装必要的依赖包 opkg update && opkg install libopencv-core-dev libopencv-imgproc-dev python3-pip # 使用pip安装额外所需的Python模块 pip3 install numpy opencv-python requests ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值