几个跟数字人项目相关的开源大模型

目前很多大模型如雨后春笋般涌现出来，都有点心慌了。冷静下来还是需要一个个去识别哪些对自己有用。

AI Voice Chat

https://github.com/WeberJulian/AI-voice-chat

它是一个简化版的react app，可以用自己的语音跟chatGPT 语音聊天。

它使用Whisper Large v3来转录，使用openchat 3.5 AWQ作为语言助手，XTTS v2用来文本转语音。

它的优势是语言对语音的几乎无延迟特性。运行在RTX 3090 GPU上。

Diffusion Avatars

https://tobias-kirschstein.github.io/diffusion-avatars/（代码还在开发中）

它用来合成一个高保真的3D头像，提供对姿势和表情的控制。

• 将表情传输到3D头像动画

• 通过 NPHM 制作头像动画

通过底层 NPHM 进行控制。我们通过在几个目标表达式之间进行插值来获得表达式代码 z exp 。使用光栅化和我们基于扩散的神经渲染器，表达代码被转换为具有视点控制的现实化身。

• 自己制作头像动画

通过拖动蓝色点到相应的表情，完成3D人物表情的改变，中间的过渡很流畅。

PoseGPT: 通过对话的方式实时生成3D人物姿态

https://yfeng95.github.io/posegpt/（代码还在开发中）

这是一个采用大型语言模型 (LLM) 来从图像或文本描述中理解和推理 3D 人体姿势的框架。源于人类从单个图像或简短描述中直观地理解姿势的能力，这是一个将图像解释、世界知识和对肢体语言的理解交织在一起的过程。传统的人体姿势估计方法，无论是基于图像的还是基于文本的，通常缺乏整体场景理解和细致入微的推理，导致视觉数据与其现实世界含义之间的脱节。PoseGPT 通过将 SMPL 姿势嵌入为多模态 LLM 中的独特信号标记来解决这些限制，从而能够从文本和视觉输入直接生成 3D 身体姿势。从而促进两项高级任务：推测性姿势生成和姿势估计推理。这些任务涉及推理人类从微妙的文本查询中生成 3D 姿势，可能还伴有图像。我们为这些任务建立了基准，超越了传统的 3D 姿态生成和估计方法。此外，PoseGPT 能够基于复杂推理理解和生成 3D 人体姿势，为人体姿势分析开辟了新的方向。

Animate Anyone

https://humanaigc.github.io/animate-anyone/

这个模型实现从静止图像到人物动态视频。这个用来实现角色动画的一致性。引入了有效的姿势引导器来指导角色的运动，并采用有效的时间建模方法来确保视频帧之间平滑的帧间过渡。

最后分享两个从文本到3D模型的流程：

https://3d.csm.ai/ 用来图片生成3D模型。

https://www.krea.ai/ 用来做参考制作理想模型

https://magnific.ai/ 用来将图片更加清晰

https://runwayml.com/ 做成动画

图生成法向图导入Blender处理：

https://huggingface.co/spaces/flamehaze1115/Wonder3D-demo

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！

💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）

💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。

👉LLM大模型学习视频👈

💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）

👉640份大模型行业报告👈

💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉获取方式：

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

本文转自 https://blog.csdn.net/youmaob/article/details/141263340?spm=1001.2014.3001.5501，如有侵权，请联系删除。