风烟流-CSDN博客

原创从零开始的VR语音交互开发

本人没有VR开发和C#基础，借着毕业设计，经过一年的摸索和学习，做出了一个还算能够走完整个流程的VR语音控制系统（一个VR数字博物馆），抹盘前觉得有些坑不方便在毕业论文中详写，但可以记录下来方便后来人借鉴，也算是给无数个不眠夜留下一个回忆。目录环境和设备的选择插件下载和基本漫游功能的部署HTC VIVE的VR环境下语音识别的引入UGUI在VRTK下的视野跟随UGUI在VR开发环境下的最...

2019-06-26 00:27:22 1011 1

原创 VR语音交互开发总结

对于常规的功能实现，做一个不完全的参考总结：UGUI的VRTK配置UGUI解决方案的灵感来源VRTK的手柄交互不引入语义理解系统前提下语音识别的宽容度提升Excel的读入由衷感谢CSDN开发者15蛋酱菌所做的研究，以及洪流学堂开发者对百度语音部分SDK的优化工作。题外话：实际上，HoloLens已经内置了语音识别，这一点可以在WindowsMixedReality上得到印证，附上g...

2019-06-26 00:26:23 1027

原创导入SteamVR和VRTK出现Unity.Editor系列报错的解决方案

首先声明，经过测试，该方案并非对所有环境有效，但对于本系列文章环境适用。这种报错大多由于项目过程中更换Unity3d版本造成，解决方案如下：在目标版本Unity3d中新建一个空项目(project)，找到路径New Unity Project\Packages中的：找到这个文件将这个文件复制，再替换到要做的那个工程项目的相同位置，如：VR Anniversary\Packages重...

2019-06-26 00:22:26 3407

原创 Steam Audio SDK的简单应用

Steam Audio是Valve对VR空间音效提出的解决方案，它能整合普通音频、Ambisonic音频和SOFA，使用类光线跟踪方法，较好的还原VR场景中由人物和场景动态变化引起的声音变化效果，下面简单介绍使用方法。百度SteamAudio到官网下载导入后进行如下图操作：点击Steam Audio会弹出如图所示界面：将Audio Engine调成Unity，而不是FMOD然后直接...

2019-06-26 00:20:09 1045

原创 VR中UGUI在最上层显示的解决方案

该方案参考了CSDN创建一个Shader，代码如下：// Upgrade NOTE: replaced ‘mul(UNITY_MATRIX_MVP,)’ with 'UnityObjectToClipPos()’//需要赋给场景，专门用于解决UI置顶问题Shader “UI/Overlay”{Properties{[PerRendererData] _MainTex (“Font ...

2019-06-26 00:15:54 1058

我们的交互流程是用射线点击按钮进入识别状态，说话，再次点击结束识别，返回和显示结果并作出反馈。在这一过程中，场景里的语音录音按钮必须随时可见和可交互，而在SteamVR和VRTK下，UGUI的Canvas必须是World Space模式才可交互，World Space的Canvas会造成非常多的连带问题，比如默认情况下是静止在场景中的，HMD移动，Canvas并不移动，引入跟随Transform...

2019-06-26 00:11:15 864

原创语音识别的引入

使用百度的SDK来进行语音识别，链接：洪流学堂公众号二次开发的SDK（非利益相关）导入进Unity3d中，下面我们分析如何通过结果分支控制交互反馈。这个包封装了百度的语音识别和语音合成，在此不作结构分析，打开AsrDemo.cs脚本，找到OnClickStopButton()并修改成如下所示：public void OnClickStopButton(){ StartButt...

2019-06-26 00:06:15 523 1

原创插件的下载和基本漫游功能的部署

如果你想跟着网上尤其CSDN的教程来做，那么我建议你下载旧版SteamVR插件，如果你下载了新版的SteamVR会很困扰，因为教程写的都是1.2.3的情况，很多脚本名不一样方法也不同，初学者会直接劝退，贴上下载链接如下，发现下载过慢请科学上网：从github下载SteamVR之后下载Unity3d，我选择的是Unity 2018.2.20f1 (64-bit)版本，请进入官网旧版本页面下载。...

2019-06-26 00:03:07 264

原创环境和设备的选择

简介：介绍一下我所开发的系统，它主要实现的是VR平台的语音指令控制，能听出我说的话，并在VR空间里给出反馈，这个反馈可以是播放动画，可以是调用方法也可以是其他。设备方面：首先选用的HMD必须有Microphone，这里我选用的是HTC VIVE,二手淘来应该是2017或者以前的，我的本子是mbp，这里是第一个坑，官方给出的最低配置是N卡 960-1050，而我的本是AMD Radeon 560 ...

2019-06-25 23:55:48 366

weixin_43234457的博客