全球首个数字人开源了

DUIX(Dialogue User Interface System)是硅基智能打造的AI数字人智能交互平台。通过将数字人交互能力开源,开发者可自行接入多方大模型、语音识别(ASR)、语音合成(TTS)能力,实现数字人实时交互,并在Android和iOS多终端一键部署,让每个开发者可轻松创建智能化、个性化的数字人Agent,并应用到各行各业。

该项目不仅开源了所有相关资源,还配套提供了详尽的文档指南,旨在帮助开发者轻松驾驭,快速打造出个性化虚拟人应用场景。得益于此开源项目,无论是在 Android 还是 iOS 平台上,开发者都能实现数字人的快速部署,为用户带来无缝、即时的虚拟互动体验。

更进一步,硅基智能全面开放了其数字人 SDK 的源代码,覆盖从底层的推理引擎到上层商业应用逻辑,无保留揭秘技术细节。这一举措不仅鼓励技术社区深入探索数字人的内在工作机制,还激发了对现有技术进行优化改良及创新拓展的可能性,共同推动全球数字人技术的边界。

图片

开源地址:GitHub - GuijiAI/duix.ai

1

开源数字人有多强?

这个开源的 SDK 不仅提供了直观的效果展示,还支持用户进行二次开发,核心功能有:

1. 个性数字人随你挑:14款不同风格的数字人模版等你来拿,还能不断更新,让你紧跟潮流。

图片

图片

2. 超省钱高效:轻松部署在手机、大屏,甚至平板、车机,成本低、运行溜。

图片

3. 丝滑体验:每秒50帧,画面流畅到爆,直播不卡顿,视频产出快。

4. 超真实感受:动作、唇形、微表情,模拟得跟真的一样,让人难辨真假。

5. 百变应用场景:打造 AI 小伙伴、直播售货、定制数字人短片,助力抖音、视频号等内容创作与品牌宣传。

图片

2

看看效果有多棒?

体验一下此数字人的生动演示,它能聪明地理解并回应你的每一句话。目前的小遗憾是,它的思考时间约为3到4秒,但这对话结束后才给出反应。别担心,技术的进步就在眼前,随着模型优化,这一等待时间即将成为过去。

 

3

如何部署使用?

第一、安卓 SDK 集成教程

该开源项目提供了详细的使用部署教程,可以移步该项目的地址去查看,我直接把重要的部分贴在了下方。

图片

图片

图片

图片

第二、iOS SDK 集成教程

SDK 提供了多种回调方法,包括数字人渲染报错回调、音频播放结束回调、音频播放进度回调等。

动作相关的还支持随机动作、开始动作、结束动作等。建议前往开源项目去查看详细文档。

NSString *basePath =[NSString stringWithFormat:@"%@/%@",[[NSBundle mainBundle] bundlePath],@"gj_dh_res"];
          NSString *digitalPath =[NSString stringWithFormat:@"%@/%@",[[NSBundle mainBundle] bundlePath],@"lixin_a_540s"];
//初始化
NSInteger result= [[GJLDigitalManager manager] initBaseModel:basePath digitalModel:digitalPath showView:weakSelf.showView];
if(result==1)
{
   //开始
   [[GJLDigitalManager manager] toStart:^(BOOL isSuccess, NSString *errorMsg) {
   if(!isSuccess)
     {
      [SVProgressHUD showInfoWithStatus:errorMsg];
     }
   }];
}

4

项目开源地址

这个开源项目的背后功臣是硅基智能,一家在 AI 领域名声响当当的企业,我经常在短视频平台上看到他们的身影。他们已经复制了多达50万个独一无二的数字人,而且让 AIGC 技术在十几个行业里头大展拳脚,商业化走得挺远的。

为了让更多的个人开发者和企业有机会涉足数字人领域,不被高技术门槛挡在门外,硅基智能决定大方公开其核心技术的源代码,真正意义上推动了数字人技术的普惠与共创。

开源地址:GitHub - GuijiAI/duix.ai

来源于玄姐论AI ,作者玄姐 

<think>好的,用户需要寻找一个开源、支持本地部署的实时对话数字人解决方案。首先,我得理解这几个关键词:开源、实时对话、数字人、本地部署。实时对话意味着系统需要快速响应,可能涉及流式语音处理和自然语言处理。本地部署则要求解决方案能在用户自己的服务器或设备上运行,不需要依赖外部云服务。 接下来,我需要回忆之前提供的引用内容,看看有没有相关的开源项目。引用3提到GitHub上一个3.1K星的项目,是业界首个流式语音合成系统,适合实时交互的数字人应用,强调低延迟和高响应速度,这符合实时对话的需求。引用2中的RTranslator虽然主要是翻译应用,但它的实时对话模式可能对数字人的交互设计有参考价值,不过不确定是否直接相关。引用4的EasyDarwin是流媒体服务,支持RTSP协议,可能在数字人的视频流传输中有用,但用户主要关注的是对话部分,可能不是核心。引用1提到的系统可能不相关,但源码获取方式可能有帮助。 所以,重点应放在引用3的流式语音合成系统上。用户需要的是完整的数字人解决方案,而不仅仅是语音合成。因此可能需要整合其他组件,比如语音识别(ASR)、自然语言处理(NLP)、对话管理,以及可能的动画渲染。需要确认是否有开源项目整合了这些模块并支持本地部署。 另外,考虑用户可能需要其他推荐,比如结合多个开源工具。例如,使用Mozilla DeepSpeech或Kaldi进行语音识别,Rasa或Dialogflow(虽然Dialogflow不是开源)进行对话管理,加上引用3的流式语音合成,再使用Blender或Unity进行数字人动画。不过这样整合起来比较复杂,用户可能希望更集成的解决方案。 是否有其他开源项目?比如OpenAI的ChatGPT,但它是云服务,且不开源。可能有基于Transformer的开源模型,如Hugging Face的库,可以本地部署。此外,数字人方面,可能有像OpenCV处理面部动画,或者使用3D引擎如Unity或Unreal Engine,但这些都需要大量开发工作。 综合来看,引用3的流式语音合成是关键组件,但需要搭配其他工具。用户可能需要分步骤实施,先处理语音输入,再处理NLP,生成响应,再合成语音并驱动数字人形象。此外,引用4的EasyDarwin可能用于视频流的传输,如果数字人需要实时视频输出的话。 在回答中,需要明确推荐引用3的项目作为核心,并建议结合其他开源工具。同时,提醒用户本地部署的资源要求,比如计算能力和存储。可能还需要提到社区支持和文档是否完善,这对集成和部署很重要。 最后,检查是否有其他引用被忽略。引用2的RTranslator虽然主要做翻译,但它的实时对话架构可能对处理双向语音交互有帮助,可以作为参考,但可能不是直接解决方案。因此,回答应聚焦于引用3,并补充其他可能的工具,形成一个完整的解决方案。</think>### 开源实时对话数字人解决方案推荐 针对**开源、支持本地部署的实时对话数字人**需求,需重点关注**低延迟交互能力**与**本地化部署灵活性**。以下是综合推荐方案及技术要点: --- #### 1. **流式语音合成系统(核心组件)** 引用[^3]中提到的**GitHub 3.1K Star流式语音合成系统**是关键组件。其特点包括: - **流式生成**:支持边生成边输出语音,显著降低响应延迟(通常控制在500ms内),适合实时对话场景。 - **开源与本地化**:代码完全开放,支持本地部署,无需依赖云端服务。 - **多语言支持**:可集成多语种语音库,适配全球化需求。 **部署建议**: - 需搭配高性能GPU(如NVIDIA T4)以保障合成速度。 - 可结合`FFmpeg`或`GStreamer`实现音频流封装与传输。 --- #### 2. **对话管理与自然语言处理(NLP)** 推荐以下开源工具链: - **语音识别(ASR)**:使用`Whisper`(OpenAI开源模型)或`Mozilla DeepSpeech`,支持本地部署且兼容多语言。 - **意图理解**:采用`Rasa`框架构建对话管理模块,支持自定义对话流程与知识库集成。 - **大语言模型(LLM)**:本地部署轻量级模型如`Llama 2`或`Alpaca`,用于生成自然对话响应。 ```python # 示例:Rasa对话流程(简化版) from rasa.core.agent import Agent agent = Agent.load("models/20231001-173445.tar.gz") response = await agent.handle_text("用户输入内容") ``` --- #### 3. **数字人形象驱动与渲染** - **2D动画引擎**:使用`Live2D`或`Unity`开源插件实现口型同步与表情驱动。 - **3D模型渲染**:基于`Blender`或`Unreal Engine`构建高拟真数字人,结合`ARKit`面部捕捉数据。 - **流媒体传输**:引用[^4]的`EasyDarwin`支持RTSP协议,可用于低延迟传输数字人视频流。 --- #### 4. **完整架构示例** ```plaintext 用户语音输入 → Whisper(ASR) → Rasa(NLP) → Llama 2(响应生成) → 流式语音合成 → 数字人动画渲染 → EasyDarwin流媒体输出 ``` --- #### 5. **部署注意事项** - **硬件要求**:需至少16GB内存、NVIDIA GPU(CUDA支持)及SSD存储。 - **隐私合规**:本地部署可避免数据外传,符合GDPR等法规要求。 - **社区支持**:上述工具均有活跃开源社区,可通过GitHub提交Issue获取技术支持。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JackieZhengChina

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值