SETUP:工具和插件
工具:elevenlabs或者讯飞,用于Speech Synthesis(语音合成,text to speech)。
https://elevenlabs.io/app/speech-synthesis/text-to-speechhttps://elevenlabs.io/app/speech-synthesis/text-to-speech elevenlab有10000字的免费试听额度
虚幻需要安装的插件(都支持虚幻5.0-5.4): (以下插件非本人所著,1-3需付费购买,1-2结合使用,4必装)
1)Runtime Speech Recognizer (不免费) :识别玩家通过麦克风讲的话
- English-only and multilingual models available, with multilingual supporting 100 languages)
- Fast recognition speed (反应速度快)
- Optional translation of recognized speech to English (可以支持翻译机器人)
- NOTE: The images with plugin examples are made in conjunction with 2)RuntimeAudioImporter, although you may have your own implementation of audio input to be processed in RuntimeSpeechRecognizer.
2)Runtime Audio Importer(不免费):导入录制的音频到引擎中
3)Offline Speech Recognition(不免费)
- No dependencies on other paid cloud services
- Easy to setup
- One time payment
- The server can handle multiple clients at the same time 支持多人使用
- No internet required 支持离线
4)VArest(免费):REST通信(for the communication with API)
Speech to Text实现步骤:
示例使用Runtime Speech Recognizer和Runtime Audio Importer。
完成购买后,Runtime Speech Recognizer的插件document中提供copyable blueprint可供直接复制使用。
1)缺失变量报错:
Blueprint复制过来之后,(包括你从自己其他工程复制过来的蓝图)会出现由于缺失变量造成的报错,只需要右键set variable的部分(节点如下图),即可一键重新创建变量,报错就可以解决。
2)blank audio报错
如果无法用笔记本麦克风语音输入,debug message会出现blank audio
3)切换语言
系统设置:插件->Runtime Speech Recognizer中,可以把Model Language从English only切换成多语种
4)响应时间问题:
语言模型将所有答案一起传回,字数越多等得越久。
MetahumanSDK的文字to语音to口型,同样字数越多耗时越长,也受网速的影响。
到这条分割线以上,就可以实现和虚幻引擎编辑器对话了。
————————————————待更新————————————————————
5)文字识别准确性(避免空耳),stepsize,手动设置识别语言
————————————————同系列文章————————————————————
和NPC纯文字聊天。