赋能百业:多模态处理技术与大模型架构下的AI解决方案落地实践
AI 语音交互大模型其实有两种主流的做法:
- All in LLM
- 多个模块组合, ASR+LLM+TTS
实际应用中,这两种方案并不是要对立存在的,像永劫无间这种游戏的场景,用户要的是低延迟,无障碍交流。并且能够触发某些动作技能。这就非常适合使用成熟的 ASR 和 TTS 技术来负责音频的处理,而 LLM 就可以专门做用户意图的理解。
1.数据
要是想训练一个大模型,去思考自己有什么样的数据,数据的获取方法有两种
-
自动化的获取,就像 Aone Copilot 代码补全场景一样,我们从原始的代码中通过某些规则扣出一块,作为模型的预测数据,我们只需要设定好策略就可以得到千万条数据用来训练
-
半自动获取,我们可以借助一些更强大的生成模型比如 ChatGPT,让他代替人工生成一些数据,再经过规则清洗得到最终使用的数据
-
用户使用数据, 类似商品和短视频推荐的数据,都是通过曝光点击行为来做训练的
-
人工标注,这种数据获取方法成本非常高,做这种事情的时候,千万先想好自己的业务诉求和价值