近实时智能应答 2D 数字人搭建

目录

背景

方案架构

具体实现

语音输入部分

应答内容生成部分

语音输出部分

2D 数字人视频的生成部分

---

背景

早在大语言模型如 GPT-3.5 等的兴起和被日渐广泛的采用之前，教育行业已经在 AI 辅助教学领域有过各种各样的尝试。在教育行业，人工智能技术的采用帮助教育行业更好地实现教学目标，提高教学质量，提高学习效率，提高学习体验，提高学习成果。例如，人工智能技术可以帮助教师更好地管理课堂，更好地识别学生的学习需求，更好地提供个性化的学习内容，更好地评估学生的学习成果，更好地提供学习支持。此外，人工智能技术还可以帮助教育行业更好地实现自动化，提高教育行业的效率和效果。总之，人工智能技术在教育行业的采用将会带来巨大的变化，为教育行业带来更多的发展机遇。

亚马逊云科技也一直致力于提供更方便快捷，功能更强大的 AI 服务来支持教育行业客户的技术创新和业务创新。特别是 Amazon Transcribe，Amazon Polly，Amazon Textract，Amazon Translate，Amazon Personalize，Amazon Rekognition，Amazon SageMaker 等产品分别从自然语言处理，图形图像处理，模型研发部署等方面为教育行业提供了强有力的技术支持。

本文结合 Amazon Transcribe，Amazon Polly，以及 OpenAI 的大语言模型和 D-ID.com 公司的 2D 数字人生成技术，介绍了实现了一个演示用的可语音对话的智能 2D 数字人设计的服务和具体的实现过程。

方案架构

为了能在一个统一的用户界面呈现语音输入，语音输出，以及 2D 数字人视频播放的整体效果，本方案选择 Gradio 框架实现 WebUI 的功能。呈现的 WebUI 如下：

用户可以通过直接输入文字内容或者使用麦克风输入语音，文字内容会使用 Langchain 附加上一定的上下文后送给 OpenAI 的 GPT 接口调用，语音输入会先调用 Amazon Transcribe 服务进行语音到文字的转换。经过 GPT 接口返回的文字内容，会调用 AWS Polly 形成语音文件，同时语音文件会作为 D-ID.com 提供的 API 渲染出 2D 的动态视频在前端自动展示和播放。

本方案中语音输入，语音输出，文字响应生成，以及数字人视频生成的功能都可以做自由的组合和替换。特别是对于 OpenAI 接口的调用可以置换为对自部署的大语言模型的调用，同时 2D 数字人视频的生成也可以考虑其他类似服务，如 Heygen 等。

具体实现

语音输入部分

Amazon Transcribe 支持实时转录语音（流式传输），也可以转录 Amazon S3 存储桶中的语音文件（批处理）。Transcribe 支持多达几十种的不同国家的语言。

Transcribe 的实时转录能力非常的强大，处理流数据的同时，不断的利用之前的上下文进行结果的实时矫正，你可以通过下面这个截图看到 Transcribe 实时转录输出的效果：