很早就在关注,今天看到斯坦福的AI 生成式智能体小镇(Generative Agents)开源了,非常的兴奋,那个沉睡在心中很久的西部世界似乎又被唤醒了。做为一个西部世界的忠实粉丝,又做为一名程序员,梦想着有朝一日,自己可以参与到人类交互行为的仿真工作中。在仿真的世界里面,每个智能体,都按符合人类常识的规律来运行,有自己的性格特征,过往故事,成长经历,还有自己的知识体系。但每个智能体又都不是独立的个人,可以充分参与到社会中来,仿真人之间像真实社会一样,产生各种社交关系,一并推动每个人的故事线发展,一切都是符合规律的,但是又出乎意料的。
斯坦福小镇的开源代码,让我们离梦想更近了一步。第一时间从Github上关注了工程,那我们能用我们的能力再做些什么呢。立马召集我们团队开会,大家一致相约,把这套代码底层运行起来后,我们在Unity搭建一个App,后台连接这套开源源码,前端用我们的 Motionverse SDK (http://motionverse.deepscience.cn/) ,来完善每一个AI智能体的形象、动作和表情。更加充分的进行每个智能体的情绪的表达。让每一个喜欢智能体小镇的用户,都可以以上帝视角,尽情的观看和倾听,每一个智能体的故事。这会是一场对元宇宙世界的革命。
我们小组也决定,整个应用层前端的项目,从第一行代码开始,就会在github上开放出来,并每天记录我们的研发讨论过程。也非常诚挚的邀请全球喜欢西部世界,喜欢AI智能体的伙伴,参与到我们的项目中来,给我们提出各种意见建议。
刚刚有个我的老朋友问我,老听我说Motionverse,他很好奇我们的Motionverse怎么能和AI小镇结合呢。其实我们公司的Motionverse,真的是和元宇宙世界结合的神器。在元宇宙世界中,除了需要LLM提供的每个人独立的大脑能力,还需要千人千面的动作表情这样的情感表达,Motionverse就是来解决这个问题的。通过LLM生成的文本,直接通过生成式AI技术,把文本转化为AI智能体的声音、动作和表情,和大语言模型完美连接。
整改项目预计会为期30天,大体分成如下几步来执行
1、整个团队通读并讨论 《Generative Agents: Interactive Simulacra of Human Behavior》这篇论文,对整个世界的架构和底层细节逻辑,有充分的认知和了解
2、部署并运行Generative Agents 这套开源代码。代码底层是Python 编写的,这个对于我们这种AI 数字人团队,是轻车熟路的。
3、持续运行观察,并记录代码运行后,每个智能体的运行状态,策划出我们重构的3D APP,应该怎样来对每个智能体进行表达,并且方便用户随时随地来进行观察。
4、按照我们的设定,利用Unity 引擎,开始重构整个小镇世界。Generative Agents为我们提供底层支持,在Unity上,我们会借助Ready Player Me的快速打造25个对应的角色模型。
5、为每个Ready Player Me 的角色,接入Motionverse,在他们产生文本并被用户的时候,就可以通过语言+动作+表情,进行对应的情感表达。规划到这里,我们突然感觉不仅仅是元宇宙和游戏,可能未来世界,整个网剧形态和产业,也会被大语言模型重构,每个AI 智能体,也更需要借助 Motionverse 生成式的能力来完成各种表达。此时此刻,动作库,手K动画,动作捕捉,都不再适用,动作表情的AI生成,将变得无比重要。做为Motionverse 动作表情生成平台的开发者,对我们自己的这个平台的理解,又上了一层,更加坚定了自己排除一切技术困难,要坚定向前的决心。
5、世界开始运转,每个3D模型,开始拥有大语言模型赋予的智能,也开始拥有Motionverse赋予的动作和表情
6、产品上线到应用商店,每个用户,都可随时随地的看到每个智能体演绎的精彩故事,充分的情感表达