全球首款开源数字人模型duix.ai，全面解读！

嗨，大家好，我是徐小夕。

最近一直在研究 AI大模型 在业务场景中的应用，刚好发现一款非常有意思的开源数字人模型——duix.ai.

image.png

它是硅基智能打造的数字人智能交互平台。而duix-ai就是基于DUIX开源的全球首个2D真人级、AIGC实时渲染数字人模型，该项目不仅提供了直观的效果展示，还支持用户进行二次开发.

项目从底层推理引擎及上层的商业化应用逻辑也都开放了源代码，方便开发者可以深入了解其工作原理，并进行进一步的优化和创新。

github地址: https://github.com/GuijiAI/duix.ai

接下来我就和大家详细介绍一下这款开源数字人模型.

话不多说, 先来看看模型效果:

背景介绍

image.png

硅基智能的核心产品为AIGC数字人,是以数字孪生、NLP、知识图谱等AI技术构建，一比一真实还原真人形态，动作、表情、声音无限逼近真人的硅基生命，以丰富生动的展现形式，提供涵盖各行业的服务。

硅基智能着眼于全球，专注于 AI 技术深度研发和落地应用。其目标是通过自主研发的核心技术，致力于在 2025 年为全球输出 1 亿硅基劳动力，赋能企业数字化转型。在积累了大量技术沉淀的基础上,为了进一步实现 “科技平权”, 便开源了 duix.ai。

duix.ai 开源仓库不仅仅包含数字人模型，对于配套的IOS/安卓的手机应用UI都已开源了, 我们可以基于它的开源代码轻松的改成自己的数字人APP.

image.png

duix.ai 开源项目具有如下特点:

• 部署成本低: 无需客户提供技术团队进行配合，支持低成本快速部署在多种终端及大屏。

• 网络依赖小: 适合地铁、银行、政务等多种场景的虚拟助理自助服务。

• 功能多样化: 可根据客户需求满足视频、媒体、客服、金融、广电等多个行业的多样化需求。

基于这个开源项目，硅基智能在苹果商店也发布了一款名为DUIX.AI的应用。使用它可以帮助我们轻松定制各种类型的数字人，接下来我们就来聊聊它能做什么。

duix.ai 能做什么（应用场景）

duix.ai 可以应用在恋爱社交、情感陪伴、内容创作、知识学习等领域.

其实数字人在我们的生活和工作场景中应用也非常广泛, 这里我举几个常见的案例.

1. 虚拟男/女友

image.png

AI女友类的数字人现在市面上很多, 但是一般都是收费的, 我们可以基于 duix.ai 实现低成本的虚拟男/女友应用, 让AI数字人普惠更多的人.

2. 虚拟社交

我们在社交场景上有很多应用领域, 比如上面视频分享的“怼人小姐姐”. 

本人亲测, 根本吵不过~

同时如果大家想打造一款能帮助自己成长的互动式社交机器人, 比如虚拟教练, 虚拟教师, 使用 duix.ai 也是非常容易的. 下面我就来展示一下虚拟教练的效果: 

3. 虚拟人直播带货

image.png

目前抖音等短视频平台直播带货非常火, 如果我们有很好的视频脚本, 可以让虚拟人24小时帮助我们直播和带货, 实现真正的“睡后收入”.

4. 克隆专家

image.png

我们可以利用私有知识库 + 虚拟人打造某个行业的专家, 让虚拟人来面对面解答客户的咨询和问题.

5. 定制自己的数字人(最新更新)

它还支持非常有意思的个性化定制功能。之前比较火的AI复活亲人的场景，现在我们使用它, 只需要准备一个视频就可以实现。

>/ 只需一段标准化的视频就可以任意定制AI形象和对话场景

个性化打造专业形象IP等，各类场景无缝切换。

操作界面也相当简单：视频+名字。

总体来说，它是一个非常酷的项目，Duix.AI 这个 APP，给我的感觉相当真实，精准同步动作、微表情、声音唇形。就算说是行业顶级真人拟真度也不为过，而事实也确实是这样。

核心优势

image.png

这里我分享一下这款开源项目的核心优势, 供大家参考对比. 我会从两方面对比:

• 技术亮点

• 模型能力

在技术上它具有如下优势:

• 全面开源：提供从基础推理到商业化应用的完整源码。

• 灵活部署：支持Android、iOS等边缘设备，一键安装。

• 丰富的形象模板：内置14个数字人形象模板，后续将推出更多形象。

• 完善的SDK接口与文档：提供丰富的SDK接口和详尽的开发文档，支持个性化创造、自由定制。

• 超流畅画面：支持50帧/秒的超流畅画面，远超电影级标准。

• 实时渲染能力：视频生成效率超过1:0.5，满足直播/实时交互需求（用于数字人直播/虚拟女友等应用）。

• 真人级交互：行业顶级真人拟真度，精准同步动作、微表情、声音唇形。

• 低算力要求：个人电脑、平板、车载系统、手机均能流畅运行。

在模型对比上, 它采用了自研的炎帝大模型, 可以看作多模态的行业脑，基于深度学习的多层神经网络结构，拥有超过百亿参数的多模态大模型，融合了数字人大模型、声音大模型、文本大模型、图像大模型等技术，可将理解复杂文本，高效准确地生成视频，视频中包含数字人、声音、画面等内容元素，广泛应用知识生产（视频）、知识传播（直播）、知识创作（文娱） 等多个领域，克隆超过50万数字人律师、老师、医生、企业家、博主等，实现了AIGC产品在十多个行业数十个商业化场景的落地应用。

使用案例

目前 duix.ai 支持ios和android 的 SDK 集成,  具体环境参数如下:

image.png

SDK集成(1⃣以安卓为例)

dependencies {
    // 引用SDK项目
    implementation project(":duix-sdk")
    // sdk 中使用到 exoplayer 处理音频(必选)
    implementation 'com.google.android.exoplayer:exoplayer:2.14.2'
    
    // 云端问答接口使用的SSE组件(非必选)
    implementation 'com.squareup.okhttp3:okhttp-sse:4.10.0'


    ...
}

权限要求, AndroidManifest.xml中, 需增加如下配置:

<manifest xmlns:android="http://schemas.android.com/apk/res/android">
    <uses-permission android:name="android.permission.INTERNET" />
    <uses-permission android:name="android.permission.CHANGE_WIFI_STATE" />
    <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
    <uses-permission android:name="android.permission.ACCESS_WIFI_STATE" />
    <uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS" />
    <uses-permission android:name="android.permission.WAKE_LOCK" />


</manifest>

DUIX对象构建说明:

image.png

更详细的使用教程大家可以在 github 上查看:

https://github.com/GuijiAI/duix.ai

最后

如果大家想了解更多 duix.ai 的动态, 可以加下官方讨论群，欢迎交流~

欢迎star + 反馈~

往期精彩

• 零代码+AI的阶段性复盘

• 文档引擎+AI可视化打造下一代文档编辑器

• 爆肝1000小时, Dooring零代码搭建平台3.5正式上线

• 从零打造一款基于Nextjs+antd5.0的中后台管理系统