全球首个数字人,开源!

432a73d5e8fc7530ca1a45ab687fe5a3.png

全球首个 2D 真人级、AIGC 实时渲染数字人模型开源了!DUIX 是硅基智能打造的数字人智能交互平台。

开源项目提供了详细的开放文档,方便你轻松开发出定制化的虚拟人应用。借助这个开源项目,开发者能够在 Android 或者 iOS 上一键部署数字人,为你的用户提供即时的虚拟人互动体验。

硅基数字人SDK是完全开源的,底层推理引擎以及上层的商业化应用逻辑都开放了源代码。你可以深入了解其工作原理,并进行进一步的优化和创新。

f5dfdfcae45c537efc466482448404fc.png

开源地址:https://github.com/GuijiAI/duix.ai

01

开源数字人多强?

这个开源的SDK不仅提供了直观的效果展示,还支持用户进行二次开发,核心功能有:

① 数字人形象模板:提供了 14 个数字人模板,你可以前往开源项目的地址下载和使用这些数字人模型。硅基数字人还会不定期更新本地模型包,以便下载和使用最新的模型

266675f6a0a9d7280ccc2f69853eda73.png

② 部署成本低:支持低成本快速部署在 iOS、安卓或者大屏上。并且在平板、车载系统上也能流畅运行。

352ca3816c609cf9cefa2b96df024dbe.png

③ 画面流畅:支持 50 帧/秒的流畅画面,视频生成效率超过 1:0.5、满足直播等一些对实时性要求很高的场景

④ 真实模拟:数字人行业顶级的真实度,能够精准的模拟动作、说话的唇形、微表情

⑤ 可以搭建的场景:AI伴侣、直播带货、数字人短视频生成、批量数字人口播视频内容生成,用于抖音/视频号等平台的营销推广、品牌IP、内容制作。

dc53bf9900b9447a5ae4d3bf072d4202.png

图片素材来源于硅基智能官方公众号推文

02

看看效果?

这里是一个数字人的真实 Demo,能够对对话的人的话有比较合理的理解和反馈。有一个问题就是你说完话,数字人大概需要反应 3~4 s 才有反馈。但是随着端侧模型的性能优化,这个问题很快可能就会被解决。

03

如何部署使用?

安卓 SDK 集成教程

该开源项目提供了详细的使用部署教程,可以移步该项目的地址去查看,我直接把重要的部分贴在了下方。

a1c1165c2490bdcf77c7894a4b465a78.jpeg

iOS 部署方式

SDK 提供了多种回调方法,包括数字人渲染报错回调、音频播放结束回调、音频播放进度回调等。

动作相关的还支持随机动作、开始动作、结束动作等。建议前往开源项目去查看详细文档。

NSString *basePath =[NSString stringWithFormat:@"%@/%@",[[NSBundle mainBundle] bundlePath],@"gj_dh_res"];
          NSString *digitalPath =[NSString stringWithFormat:@"%@/%@",[[NSBundle mainBundle] bundlePath],@"lixin_a_540s"];
//初始化
NSInteger result= [[GJLDigitalManager manager] initBaseModel:basePath digitalModel:digitalPath showView:weakSelf.showView];
if(result==1)
{
   //开始
   [[GJLDigitalManager manager] toStart:^(BOOL isSuccess, NSString *errorMsg) {
   if(!isSuccess)
     {
      [SVProgressHUD showInfoWithStatus:errorMsg];
     }
   }];
}

04

谁开源的?

看了一下开源该项目的开发者,是叫做硅基智能的 AI 公司。我之前还经常刷到他们的短视频。这个公司已成功克隆 50 万数字人,实现 AIGC 产品在十多个行业的商业化应用。

为了降低技术门槛,为个人开发者和企业提供参与数字人的创新的机会,硅基智能公开数字人技术的核心代码。

开源地址:https://github.com/GuijiAI/duix.ai

算是为推动数字人技术的快速发展和普及出一份力!respect 🫡


推荐阅读

1. GitHub 上有什么好玩的项目?

2. 推荐 5 个本周很火的 GitHub 项目

3. 推荐 5 个近期火火火的 GitHub 项目

4.  推荐 5 个令人惊艳的 GitHub 项目

1f5fb85e0cba5d50644dcc2cb14077d9.png

<think>好的,用户需要寻找一个开源、支持本地部署的实时对话数字人解决方案。首先,我得理解这几个关键词:开源、实时对话、数字人、本地部署。实时对话意味着系统需要快速响应,可能涉及流式语音处理和自然语言处理。本地部署则要求解决方案能在用户自己的服务器或设备上运行,不需要依赖外部云服务。 接下来,我需要回忆之前提供的引用内容,看看有没有相关的开源项目。引用3提到GitHub上一个3.1K星的项目,是业界首个流式语音合成系统,适合实时交互的数字人应用,强调低延迟和高响应速度,这符合实时对话的需求。引用2中的RTranslator虽然主要是翻译应用,但它的实时对话模式可能对数字人的交互设计有参考价值,不过不确定是否直接相关。引用4的EasyDarwin是流媒体服务,支持RTSP协议,可能在数字人的视频流传输中有用,但用户主要关注的是对话部分,可能不是核心。引用1提到的系统可能不相关,但源码获取方式可能有帮助。 所以,重点应放在引用3的流式语音合成系统上。用户需要的是完整的数字人解决方案,而不仅仅是语音合成。因此可能需要整合其他组件,比如语音识别(ASR)、自然语言处理(NLP)、对话管理,以及可能的动画渲染。需要确认是否有开源项目整合了这些模块并支持本地部署。 另外,考虑用户可能需要其他推荐,比如结合多个开源工具。例如,使用Mozilla DeepSpeech或Kaldi进行语音识别,Rasa或Dialogflow(虽然Dialogflow不是开源)进行对话管理,加上引用3的流式语音合成,再使用Blender或Unity进行数字人动画。不过这样整合起来比较复杂,用户可能希望更集成的解决方案。 是否有其他开源项目?比如OpenAI的ChatGPT,但它是云服务,且不开源。可能有基于Transformer的开源模型,如Hugging Face的库,可以本地部署。此外,数字人方面,可能有像OpenCV处理面部动画,或者使用3D引擎如Unity或Unreal Engine,但这些都需要大量开发工作。 综合来看,引用3的流式语音合成是关键组件,但需要搭配其他工具。用户可能需要分步骤实施,先处理语音输入,再处理NLP,生成响应,再合成语音并驱动数字人形象。此外,引用4的EasyDarwin可能用于视频流的传输,如果数字人需要实时视频输出的话。 在回答中,需要明确推荐引用3的项目作为核心,并建议结合其他开源工具。同时,提醒用户本地部署的资源要求,比如计算能力和存储。可能还需要提到社区支持和文档是否完善,这对集成和部署很重要。 最后,检查是否有其他引用被忽略。引用2的RTranslator虽然主要做翻译,但它的实时对话架构可能对处理双向语音交互有帮助,可以作为参考,但可能不是直接解决方案。因此,回答应聚焦于引用3,并补充其他可能的工具,形成一个完整的解决方案。</think>### 开源实时对话数字人解决方案推荐 针对**开源、支持本地部署的实时对话数字人**需求,需重点关注**低延迟交互能力**与**本地化部署灵活性**。以下是综合推荐方案及技术要点: --- #### 1. **流式语音合成系统(核心组件)** 引用[^3]中提到的**GitHub 3.1K Star流式语音合成系统**是关键组件。其特点包括: - **流式生成**:支持边生成边输出语音,显著降低响应延迟(通常控制在500ms内),适合实时对话场景。 - **开源与本地化**:代码完全开放,支持本地部署,无需依赖云端服务。 - **多语言支持**:可集成多语种语音库,适配全球化需求。 **部署建议**: - 需搭配高性能GPU(如NVIDIA T4)以保障合成速度。 - 可结合`FFmpeg`或`GStreamer`实现音频流封装与传输。 --- #### 2. **对话管理与自然语言处理(NLP)** 推荐以下开源工具链: - **语音识别(ASR)**:使用`Whisper`(OpenAI开源模型)或`Mozilla DeepSpeech`,支持本地部署且兼容多语言。 - **意图理解**:采用`Rasa`框架构建对话管理模块,支持自定义对话流程与知识库集成。 - **大语言模型(LLM)**:本地部署轻量级模型如`Llama 2`或`Alpaca`,用于生成自然对话响应。 ```python # 示例:Rasa对话流程(简化版) from rasa.core.agent import Agent agent = Agent.load("models/20231001-173445.tar.gz") response = await agent.handle_text("用户输入内容") ``` --- #### 3. **数字人形象驱动与渲染** - **2D动画引擎**:使用`Live2D`或`Unity`开源插件实现口型同步与表情驱动。 - **3D模型渲染**:基于`Blender`或`Unreal Engine`构建高拟真数字人,结合`ARKit`面部捕捉数据。 - **流媒体传输**:引用[^4]的`EasyDarwin`支持RTSP协议,可用于低延迟传输数字人视频流。 --- #### 4. **完整架构示例** ```plaintext 用户语音输入 → Whisper(ASR) → Rasa(NLP) → Llama 2(响应生成) → 流式语音合成 → 数字人动画渲染 → EasyDarwin流媒体输出 ``` --- #### 5. **部署注意事项** - **硬件要求**:需至少16GB内存、NVIDIA GPU(CUDA支持)及SSD存储。 - **隐私合规**:本地部署可避免数据外传,符合GDPR等法规要求。 - **社区支持**:上述工具均有活跃开源社区,可通过GitHub提交Issue获取技术支持。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值