【聆思CSK6 视觉AI开发套件试用】基于CSK6011a_nano的虚拟打砖块交互系统

本篇文章来自极术社区与聆思科技组织的CSK6 视觉AI开发套件活动，更多开发板试用活动请关注极术社区网站。作者：马博

非常感谢极术社区和聆思科技提供的机会，加之前做过其他视觉模块的测试项目，于是尝试申请了一下（回想一下有3-4年没有参与过这类活动了），没想到在1024节日当天，非常幸运的被选中了，让我有机会再一次证明自己那一颗程序员的心。

环境搭建

开发环境的搭建相对容易，参照聆思科技提供的说明基本一键到底。本人使用的是虚拟机上的ubuntu18.04，搭建环境时在每个命令都加了sudo命令。使用这种开发环境的缺点就是因为视觉采集软件是基于windows的，所以有时不注意的话，会忘了切换usb设备导致工作无法进展。

另外，有时在刷程序时，偶尔会提示板子不存在或者串口有问题，反正我不去理会，重新执行下命令就ok了，至于导致的原因不清楚。

项目简介

当初看到CSK6视觉套件时，第一反应就是与疫情前几年曾经玩过的一个大创项目虚拟“打砖块”交互系统相似，所以就用这个题目再次申请了。

系统功能就是不再用键盘/鼠标来操作挡版的移动，而是通过摄像头的采集，AI识别手势命令来操作挡板左右移动，使运动中的小球可以往复运动，在打掉目标的同时不致掉落出屏幕。

程序难点在于分析CSK6011a_nano识别的手势数据，经过修改源码和串口数据的分析，有了这个手势对应的state，就根据实际的程序效果来进行微调了。

应用效果

【聆思CSK6 视觉AI开发套件试用】基于CSK6011a_nano的虚拟打砖块交互系统​

整体分析就是由于手势识别的结果是基于串口通信的，所以系统的流畅度不太高，另外，配套的摄像头识别率不高（个人觉得是配套的头肩识别程序的灵敏度有待提高），导致识别手势的反应度也不是很灵敏。

希望

希望聆思科技能提供下自己作模型的指导，这样就不用当前提供的手势来进行操控了，当前的几个手势应用在本项目中有点别扭。