（个人）VR太极拳学习系统-创新实训第一周（1）

最新推荐文章于 2021-08-14 14:49:27 发布

dying_isaac

最新推荐文章于 2021-08-14 14:49:27 发布

阅读量491

点赞数

分类专栏：实训文章标签：实训太极拳学习系统

本文链接：https://blog.csdn.net/dying_isaac/article/details/79843597

版权

本文介绍了作者在实训项目中负责开发基于虚幻4引擎的VR太极拳学习系统，该系统结合人机交互技术如虚拟现实、动作捕捉和语音控制。作者主要任务是用户交互和git仓库管理，目前正着手实现语音识别模块，计划通过UE4的三种不同方式获取麦克风输入数据。

摘要由CSDN通过智能技术生成

项目简述

我们预计开发一个基于虚幻4引擎的帮助用户学习太极拳的实时系统，该系统会使用到当前比较热门的人机交互技术来实现功能，例如虚拟现实、动作捕捉、语音控制等。我们预计当该系统开发完毕后，它应该能够为用户的学习情况评分，直观地显示用户的错误，并能够让用户对自己掌握不足地部分有针对性地进行强化训练。

个人分工

我在此次项目中主要负责的部分是用户与系统的交互与管理git仓库。

具体情况

我们的系统使用 HTC vive 虚拟现实套件，在虚拟场景中，该套件使用左右手各一个手柄来操纵虚拟角色和与系统交互，但是在我们要实现的太极拳学习系统中，用户在学习过程中显然不可能将手柄时刻握在手中，也就无法使用手柄来控制系统，因此我们需要寻求另外的解决方案。
此时自然会想到，可以使用我们的动捕设备来与系统交互，但是我们目前拥有的动捕设备并没有追踪到用户手指的动作，所以没有办法直接使用手指与虚拟菜单交互。因此我们能够利用动捕设备来交互的方式只有像kinect那样，通过用户身体姿势或者是在场景中放置实体按钮等，更具体的方案还没有想到，但是后期可能会追加 Leap Motion 用来捕捉用户的手部动作，这样就可以实现较灵活的交互方案，所以这一部分预计放到语音控制实现后再做讨论。
最后一种交互手段就是语音控制，这种方案在我们的系统中是比较合适的，但是其缺点也很明显，就是语音识别的准确度可能不高，且控制也不够灵活，我认为实际上只能作为一种辅助手段来使用。
我认为最终还是会将语音与手势结合起来实现交互系统。