虚幻引擎 | （类恐鬼症）玩家和NPC语音聊天

SETUP：工具和插件

工具：elevenlabs或者讯飞，用于Speech Synthesis（语音合成，text to speech）。

https://elevenlabs.io/app/speech-synthesis/text-to-speechhttps://elevenlabs.io/app/speech-synthesis/text-to-speech     elevenlab有10000字的免费试听额度

虚幻需要安装的插件(都支持虚幻5.0-5.4)： （以下插件非本人所著，1-3需付费购买，1-2结合使用，4必装）

1)Runtime Speech Recognizer （不免费） ：识别玩家通过麦克风讲的话

• English-only and multilingual models available, with multilingual supporting 100 languages)
• Fast recognition speed （反应速度快）
• Optional translation of recognized speech to English (可以支持翻译机器人）
• NOTE: The images with plugin examples are made in conjunction with 2）RuntimeAudioImporter, although you may have your own implementation of audio input to be processed in RuntimeSpeechRecognizer.

2)Runtime Audio Importer（不免费）：导入录制的音频到引擎中

3)Offline Speech Recognition（不免费）

• No dependencies on other paid cloud services
• Easy to setup
• One time payment
• The server can handle multiple clients at the same time 支持多人使用
• No internet required 支持离线

4)VArest（免费）：REST通信（for the communication with API)

Speech to Text实现步骤：

示例使用Runtime Speech Recognizer和Runtime Audio Importer。

完成购买后，Runtime Speech Recognizer的插件document中提供copyable blueprint可供直接复制使用。

1）缺失变量报错：

Blueprint复制过来之后，（包括你从自己其他工程复制过来的蓝图）会出现由于缺失变量造成的报错，只需要右键set variable的部分（节点如下图），即可一键重新创建变量，报错就可以解决。

2）blank audio报错

如果无法用笔记本麦克风语音输入，debug message会出现blank audio

详见：笔记本麦克风不能正常接入语音-CSDN博客

3）切换语言

系统设置：插件->Runtime Speech Recognizer中，可以把Model Language从English only切换成多语种

4）响应时间问题：

语言模型将所有答案一起传回，字数越多等得越久。

MetahumanSDK的文字to语音to口型，同样字数越多耗时越长，也受网速的影响。

到这条分割线以上，就可以实现和虚幻引擎编辑器对话了。

————————————————待更新————————————————————

5）文字识别准确性（避免空耳），stepsize，手动设置识别语言

————————————————同系列文章————————————————————

和NPC纯文字聊天。

游戏开发| Unreal5.2-5.4接入chatGPT定制游戏NPC-CSDN博客文章浏览阅读1k次，点赞18次，收藏6次。Unreal5.2-5.4接入chatgpt，制作游戏内不同人设的NPC角色https://blog.csdn.net/charon8778/article/details/142092626