超火的123数字人，底层的搭建逻辑是什么？

数字人，利用一段或多段真人目标对象的视频，采用知识图谱、TTS、NLP、SDR、、大模型等AI技术，对形象、表情、动作、声音等内容进行1:1复刻，生成一个无限近似真人目标对象的数字形象。

• 数字人形象克隆+声音克隆，两步定制你的专属数字人分身!

• 数字人形象克隆+声音克隆+文案创作，三步生成您专属的数字人口播短视频！

数字人像采集成片

这种数字人的搭建是十分简单的，以下是搭建的整体构建。

数字人直播的原理主要包括以下几个方面：

一、数字人模型创建

1. 建模技术

• 利用 3D 建模技术，通过采集真实人物的外貌特征、身体比例等数据，创建出高度逼真的数字人模型。可以使用专业的建模软件，如 3D Max、Maya 等，对数字人的外形进行精细设计。

• 或者采用人工智能驱动的建模方法，通过大量的图像数据训练模型，自动生成数字人的外观。这种方法可以快速创建数字人，并且可以根据不同的需求进行调整。

2. 动作捕捉

• 为了使数字人能够自然地运动，需要进行动作捕捉。动作捕捉技术可以通过传感器、摄像头等设备，记录真实人物的动作，并将其映射到数字人模型上。

• 常见的动作捕捉技术有光学动作捕捉和惯性动作捕捉。光学动作捕捉通过多个摄像头拍摄标记点的位置，来确定人物的动作；惯性动作捕捉则使用传感器测量人物的加速度和角速度，来计算动作。

二、语音合成

1. 文本转语音

• 数字人直播需要将文本内容转换为语音输出。这可以通过语音合成技术实现。语音合成技术可以将输入的文本转换为自然流畅的语音。

• 目前，主流的语音合成技术有基于统计参数的语音合成和基于深度学习的语音合成。基于深度学习的语音合成技术可以生成更加自然、逼真的语音。

2. 语音驱动

• 为了使数字人的口型与语音同步，需要进行语音驱动。语音驱动技术可以根据输入的语音信号，自动调整数字人的口型和面部表情。

• 语音驱动技术通常使用深度学习算法，通过训练模型来学习语音和口型之间的关系。

三、直播平台集成

1. 视频流传输

• 数字人直播需要将数字人的视频流传输到直播平台上。这可以通过视频编码和传输技术实现。视频编码技术可以将数字人的视频信号压缩成较小的文件大小，以便在网络上传输。

• 常见的视频编码标准有 H.264、H.265 等。视频传输技术可以使用 RTMP、HLS 等协议，将视频流传输到直播平台上。

2. 互动功能

• 为了实现与观众的互动，数字人直播平台通常会提供一些互动功能，如弹幕、礼物、点赞等。这些互动功能可以通过直播平台的 API 接口实现。

• 同时，数字人直播平台还可以集成人工智能技术，如自然语言处理、语音识别等，实现更加智能化的互动。

总之，数字人直播的原理是通过创建数字人模型、语音合成、视频流传输等技术，将数字人的表演实时传输到直播平台上，实现与观众的互动。