- 博客(13)
- 资源 (1)
- 收藏
- 关注
原创 AI智能体小镇 - 梦中的西部世界开发记录.7
这些所有的社会行为是自发的,而不是预制的。我们的Motionverse在动作表情的生成上,也是相同的原理,所有的动作表情都是自发的,不是预制的。那通过这段对话,汤姆就知道了山姆的想法,在汤姆后续的行为交谈中,就会把山姆想竞选镇子的事情扩撒出来,最后镇上的居民都知道了这件事情,大家都有了这个记忆,山姆的候选人身份成为全镇的话题,有些人支持他,有些人犹豫不决。在这个很酷的过程中,AI Agent智能体发挥了巨大的作用,在大语言模型的加持下,数字人终将全面融入到了我们的生活中,有智慧有大脑,还有动作表情的表达。
2023-08-31 10:21:39
120
原创 数字人系列四:Motionverse 接入chatgpt、文心一言等国内外大语言模型
Debug.Log("websocket关闭," + string.Format("Closed: StatusCode: {0}, Reason: {1}", e.StatusCode, e.Reason));postData.messages[0].content = content + "30字以内";Debug.Log("websocket连接异常:" + e.Message);Debug.Log("websocket连接异常:" + e.Message);Debug.Log("请输入内容!
2023-08-29 15:53:07
1798
2
原创 数字人系列三:Motionverse 插件或者项目打web包
登录上Unity账号,点击下载Unity,然后选择下载Unity Hub。注意事项:如果打包时出现以下报错。
2023-08-29 10:01:48
543
原创 AI智能体小镇 - 梦中的西部世界开发记录.6
用Motionverse来处理两个NPC的对话过程,是非常方便的,只要通过语言模型,获取到文本,做为一个模态输入Motionverse,就可以通过Audio2Face和Audio2Motion,就可以轻而易举的拿到语音数据、动作数据和表情口型数据,通过我们的插件,可以自动完成播放,这个对开发者来说,非常的友好。原版是文字显示的,我们在这个环节会做大量的加工工作,把生成的文字,通过我们的Motoinverse,转换成为声音、动作和表情,然后完成一个完整的人和人对话的过程。从数据中的2D坐标,映射到3D世界,
2023-08-25 09:39:59
120
原创 AI智能体小镇 - 梦中的西部世界开发记录.5
openai_api_key替换为你的 OpenAI API 密钥,name可不填 部署有两种方式:1.在国内本地部署的话,需要有个chatGtp跳板接口(需要在utils.py加一行openai_base_url =<跳板接口url>,然后在reverie/backend_server/persona/prompt_template/gpt_structure.py文件里openai.api_key 下面加一行 openai.api_base = openai_base_url);
2023-08-25 09:36:31
128
原创 AI智能体小镇 - 梦中的西部世界开发记录.4
在经历了众多数字人研发和项目后,我们发现在Unity引擎下做开发,配合ReadyPlayerMe或者Vroid平台的角色, 和Motionverse真的是绝配,驱动数字人搞交互,开发的效率绝对拉满。我们接入了微软的语音识别,这块在中英文方面,都有很好的识别效果。小镇的前端部分,我们计划用Unity + ReadyPlayerMe + Motionverse来完成,因为我们一直在自己做Motionverse的落地Demo,前期已经有了基础框架,在这个基础上,几天时间,前端框架已经基本做完了。
2023-08-19 12:31:58
98
原创 AI智能体小镇 - 梦中的西部世界开发记录.3
回到我们的项目进度上,整套服务器的部署已经完成,但还有坑没有填完,运行比较多步的时候,会出现卡死的情况,还在排查这块,整体解决后,我们会总结避坑指南。我们在海外阿里云部署了一个服务,跑了3个NPC,下面这个是一个片段,做个记录 http://154.22.104.10:8000/demo/July1_the_ville_isabella_maria_klaus-step-3-14/1/3/# 继续来研究论文,斯坦福的论文中,花了很多笔墨,在描述一个为了完成一个可信任的智能体,很多开发者做出的各种贡献。
2023-08-17 13:36:17
149
原创 AI智能体小镇-梦中的西部世界开发记录.2
而我们要升级二创的小镇,是打造一个3D世界,有了大脑的指令后,通过Motionverse,来进行每个Agent智能体,提供合成的语言,动作表情的表达,进行充分的情绪表达,相当于Motionverse提供了小脑的能力。Agent,从字面理解,就是丰富的大脑行为的一个代理符号,其实用智能体来描述,我觉得是非常贴切的。2、智能体在说每句话的说话,会有不同的节奏,不同的情绪转换,只有通过生成的方式,才能做到让动作和表情,和智能体预期的表达相一致,无论是从语音节奏角度,还是从语义角度。
2023-08-16 13:54:58
78
原创 AI智能体小镇 - 梦中的西部世界一
规划到这里,我们突然感觉不仅仅是元宇宙和游戏,可能未来世界,整个网剧形态和产业,也会被大语言模型重构,每个AI 智能体,也更需要借助 Motionverse 生成式的能力来完成各种表达。更加充分的进行每个智能体的情绪的表达。在仿真的世界里面,每个智能体,都按符合人类常识的规律来运行,有自己的性格特征,过往故事,成长经历,还有自己的知识体系。但每个智能体又都不是独立的个人,可以充分参与到社会中来,仿真人之间像真实社会一样,产生各种社交关系,一并推动每个人的故事线发展,一切都是符合规律的,但是又出乎意料的。
2023-08-15 13:44:27
179
原创 Motionverse数字人驱动 SDK产品介绍
Motionverse是一款多模态实时驱动虚拟数字人的业务中台,主要面向有二次开发能力的行业开发者,用AI动态生成的方案,提供SDK和管理后台,解决产品和终端的虚拟数字人驱动问题。元宇宙世界中,每个人都有自己的数字分身,也会有大量的AI数字人做为新的交互方式出现,虚拟数字人的数量将会数倍于人类的数量,传统的动作制作和动作捕捉技术方案,已经无法满足数以百亿计的动作表情需求,通过各种不同的输入情况,智能的实时的来生成所需要的动作表情和口型,这个就是Motionverse定义的多模板实时驱动解决方案。
2023-08-08 10:56:54
603
原创 数字人系列二:ReadyPlayerMe网站生成的数字人导入Unity环境使用
从ReadyPlayerMe网站将生成的数字人导入Unity环境使用,并使用motionverse进行驱动
2023-07-21 13:16:00
2122
1
原创 数字人系列一:10分钟打造AI对话数字人(平台提供数字人和问答库)
Motionverse是一款面向开发者的业务中台,利用AI技术,提供多模态实时驱动虚拟数字人的解决方案。它通过SDK和管理后台,解决产品和终端的虚拟数字人驱动问题。在元宇宙世界中,Motionverse能满足大量虚拟数字人的动作表情需求,通过各种输入情况,智能实时生成所需的动作表情和口型。作为中台产品,Motionverse以API/SDK的形式,向行业开放性提供解决方案,使数字人驱动变得更简单,更实时,更低成本。
2023-07-17 17:07:06
3983
原创 国内外数字人驱动平台对比一览表
无论是元宇宙社区、数字人的App,还是线下大屏、VR/AR设备,只要有数字人的地方,Motionverse都可以让驱动变得更简单、更实时、更低成本。Microsoft:在Azure平台上,数字人驱动是利用Azure的云计算和人工智能服务来创建、部署和管理虚拟数字人的过程。Azure提供了一系列的服务和工具,帮助开发者和创作者构建逼真的数字人形象,并赋予其智能和交互能力。使用Azure的认知服务,如人脸识别、情感分析和语音识别,使数字人能够与用户进行自然交互,实现更加沉浸式和个性化的用户体验。
2023-07-12 11:22:57
936
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人