实训
文章平均质量分 55
dying_isaac
啥都不会
展开
-
(个人)VR太极拳学习系统-创新实训第一周(1)
项目简述 我们预计开发一个基于虚幻4引擎的帮助用户学习太极拳的实时系统,该系统会使用到当前比较热门的人机交互技术来实现功能,例如虚拟现实、动作捕捉、语音控制等。我们预计当该系统开发完毕后,它应该能够为用户的学习情况评分,直观地显示用户的错误,并能够让用户对自己掌握不足地部分有针对性地进行强化训练。 个人分工 我在此次项目中主要负责的部分是用户与系统的交互与管理git仓库。 具体情况 ...原创 2018-04-07 18:09:35 · 492 阅读 · 0 评论 -
(个人)VR太极拳学习系统-创新实训第三周(2)
蓝图激活按钮点击事件问题 实现语音命令识别之后,就需要让应用对命令做出响应,这很简单,只需要使用switch on string节点就可以对不同的命令执行不同的分支了,然而当我试图用关卡蓝图与ui界面交互时,却发现没有办法使用蓝图触发按钮的点击事件。 我目前没有找到直接的方法,因此只能够在用户界面蓝图中将每个按钮的功能都单独封装为了函数,然后点击事件也直接去调用这些函数。这样还有一个问题就是必...原创 2018-04-22 21:50:56 · 214 阅读 · 0 评论 -
(个人)VR太极拳学习系统-创新实训第二周(1)
语音控制系统实现方案改变 上次说到了ue4中实现语音控制系统需要先获取语音输入,然后再进行处理,而获取麦克风输入有三种途径。这一周我先尝试了使用网络子系统下的语音模块,但是照着youyube上一个视频来做却并没有成功,因为视频中展示的代码并不完整。 经过与其他成员的讨论,我发现我的思考方式有些问题,我将该系统的实现步骤分为三部,是以自己从头开发为前提来考虑的,没有想到还有利用现有插件的方式。所...原创 2018-04-14 02:15:30 · 494 阅读 · 1 评论 -
(个人)VR太极拳学习系统-创新实训第三周(1)
上次遗留的问题 上次编译错误信息显示找不到Sphinx-UE4的头文件,原因是没有在模块下的.Build.cs文件中添加依赖。 .Build.cs文件是ue4中一个模块的编译配置文件,类似于make使用的makefile,只不过epic选择使用c#自己实现一个工具,也就是Unreal Build Tool。 要解决上回的问题,需要在需要使用道Sphinx-UE4文件的模块中添加依赖,具体做法...原创 2018-04-20 23:42:52 · 339 阅读 · 0 评论 -
(个人)VR太极拳学习系统-创新实训第四、五周(1)
近期工作 前些日子由于个人的原因(备考GRE)所以在这边的工作上停滞了一段时间,这段时间内我主要是处理了一些与版本控制相关的问题,下面我记录一下较重要的部分: git删除文件 之前在提交工作时不小心将一个1.2G的文件提交到了本地仓库,在推送时github拒绝了提交,提示不能够上传大于1G的文件。这样就比较麻烦了,因为该文件已经被git追踪了,所以即使删除掉它,git中还是会存留记录,所...原创 2018-05-07 13:39:33 · 237 阅读 · 0 评论 -
(个人)VR太极拳学习系统-创新实训第七周
语音识别率不够高 由于菜单等界面雏形大致出来了,所以我们将各个菜单项与语音识别系统对应起来,测试了一下我们需要的命令的识别情况。 在我们的测试过程中,两个字组成的词识别率尚可,但是有的词特别灵敏,而四个字的词识别率就远不如前者了,例如“教学模式”这个短语,我们尝试了多次,最后只成功识别出了一次,即使将tolerance调整至v1也无法明显提升识别率。 之前想过通过多个发音匹配同一个命令的方式...原创 2018-05-21 00:06:40 · 587 阅读 · 0 评论 -
(个人)VR太极拳学习系统-创新实训第八、九周
录制用户动作并评分 这两周我的主要工作是完成了评分关卡的逻辑,并优化了一下之前实现的DTWRecorderComponent的代码。 下面的代码是用户选择招式后的逻辑: 其中Anims是一个预先剪辑过的各个招式的标准动画,用户每个招式录制的时间与对应的标准动画时间长度相同,实际上由于用户使用时帧率的不同录制下来的帧数也不可能与标准动画完全相同,虽然计算分数使用的DTW算法就是用于解决...原创 2018-06-05 10:53:58 · 335 阅读 · 0 评论