- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 AI智能体小镇 - 梦中的西部世界开发记录.7
这些所有的社会行为是自发的，而不是预制的。我们的Motionverse在动作表情的生成上，也是相同的原理，所有的动作表情都是自发的，不是预制的。那通过这段对话，汤姆就知道了山姆的想法，在汤姆后续的行为交谈中，就会把山姆想竞选镇子的事情扩撒出来，最后镇上的居民都知道了这件事情，大家都有了这个记忆，山姆的候选人身份成为全镇的话题，有些人支持他，有些人犹豫不决。在这个很酷的过程中，AI Agent智能体发挥了巨大的作用，在大语言模型的加持下，数字人终将全面融入到了我们的生活中，有智慧有大脑，还有动作表情的表达。
2023-08-31 10:21:39
103
原创 数字人系列四：Motionverse 接入chatgpt、文心一言等国内外大语言模型
Debug.Log("websocket关闭," + string.Format("Closed: StatusCode: {0}, Reason: {1}", e.StatusCode, e.Reason));postData.messages[0].content = content + "30字以内";Debug.Log("websocket连接异常:" + e.Message);Debug.Log("websocket连接异常:" + e.Message);Debug.Log("请输入内容！
2023-08-29 15:53:07
1564
1
原创 数字人系列三：Motionverse 插件或者项目打web包
登录上Unity账号，点击下载Unity，然后选择下载Unity Hub。注意事项：如果打包时出现以下报错。
2023-08-29 10:01:48
446
原创 AI智能体小镇 - 梦中的西部世界开发记录.6
用Motionverse来处理两个NPC的对话过程，是非常方便的，只要通过语言模型，获取到文本，做为一个模态输入Motionverse，就可以通过Audio2Face和Audio2Motion，就可以轻而易举的拿到语音数据、动作数据和表情口型数据，通过我们的插件，可以自动完成播放，这个对开发者来说，非常的友好。原版是文字显示的，我们在这个环节会做大量的加工工作，把生成的文字，通过我们的Motoinverse，转换成为声音、动作和表情，然后完成一个完整的人和人对话的过程。从数据中的2D坐标，映射到3D世界，
2023-08-25 09:39:59
91
原创 AI智能体小镇 - 梦中的西部世界开发记录.5
openai_api_key替换为你的 OpenAI API 密钥，name可不填 部署有两种方式：1.在国内本地部署的话，需要有个chatGtp跳板接口(需要在utils.py加一行openai_base_url =<跳板接口url>，然后在reverie/backend_server/persona/prompt_template/gpt_structure.py文件里openai.api_key 下面加一行 openai.api_base = openai_base_url)；
2023-08-25 09:36:31
108
原创 AI智能体小镇 - 梦中的西部世界开发记录.4
在经历了众多数字人研发和项目后，我们发现在Unity引擎下做开发，配合ReadyPlayerMe或者Vroid平台的角色， 和Motionverse真的是绝配，驱动数字人搞交互，开发的效率绝对拉满。我们接入了微软的语音识别，这块在中英文方面，都有很好的识别效果。小镇的前端部分，我们计划用Unity + ReadyPlayerMe + Motionverse来完成，因为我们一直在自己做Motionverse的落地Demo，前期已经有了基础框架，在这个基础上，几天时间，前端框架已经基本做完了。
2023-08-19 12:31:58
68
原创 AI智能体小镇 - 梦中的西部世界开发记录.3
回到我们的项目进度上，整套服务器的部署已经完成，但还有坑没有填完，运行比较多步的时候，会出现卡死的情况，还在排查这块，整体解决后，我们会总结避坑指南。我们在海外阿里云部署了一个服务，跑了3个NPC，下面这个是一个片段，做个记录 http://154.22.104.10:8000/demo/July1_the_ville_isabella_maria_klaus-step-3-14/1/3/# 继续来研究论文，斯坦福的论文中，花了很多笔墨，在描述一个为了完成一个可信任的智能体，很多开发者做出的各种贡献。
2023-08-17 13:36:17
116
原创 AI智能体小镇-梦中的西部世界开发记录.2
而我们要升级二创的小镇，是打造一个3D世界，有了大脑的指令后，通过Motionverse，来进行每个Agent智能体，提供合成的语言，动作表情的表达，进行充分的情绪表达，相当于Motionverse提供了小脑的能力。Agent，从字面理解，就是丰富的大脑行为的一个代理符号，其实用智能体来描述，我觉得是非常贴切的。2、智能体在说每句话的说话，会有不同的节奏，不同的情绪转换，只有通过生成的方式，才能做到让动作和表情，和智能体预期的表达相一致，无论是从语音节奏角度，还是从语义角度。
2023-08-16 13:54:58
61
原创 AI智能体小镇 - 梦中的西部世界一
规划到这里，我们突然感觉不仅仅是元宇宙和游戏，可能未来世界，整个网剧形态和产业，也会被大语言模型重构，每个AI 智能体，也更需要借助 Motionverse 生成式的能力来完成各种表达。更加充分的进行每个智能体的情绪的表达。在仿真的世界里面，每个智能体，都按符合人类常识的规律来运行，有自己的性格特征，过往故事，成长经历，还有自己的知识体系。但每个智能体又都不是独立的个人，可以充分参与到社会中来，仿真人之间像真实社会一样，产生各种社交关系，一并推动每个人的故事线发展，一切都是符合规律的，但是又出乎意料的。
2023-08-15 13:44:27
147
原创 Motionverse数字人驱动 SDK产品介绍
Motionverse是一款多模态实时驱动虚拟数字人的业务中台，主要面向有二次开发能力的行业开发者，用AI动态生成的方案，提供SDK和管理后台，解决产品和终端的虚拟数字人驱动问题。元宇宙世界中，每个人都有自己的数字分身，也会有大量的AI数字人做为新的交互方式出现，虚拟数字人的数量将会数倍于人类的数量，传统的动作制作和动作捕捉技术方案，已经无法满足数以百亿计的动作表情需求，通过各种不同的输入情况，智能的实时的来生成所需要的动作表情和口型，这个就是Motionverse定义的多模板实时驱动解决方案。
2023-08-08 10:56:54
539
原创 数字人系列二：ReadyPlayerMe网站生成的数字人导入Unity环境使用
从ReadyPlayerMe网站将生成的数字人导入Unity环境使用，并使用motionverse进行驱动
2023-07-21 13:16:00
1682
1
原创 数字人系列一：10分钟打造AI对话数字人（平台提供数字人和问答库）
Motionverse是一款面向开发者的业务中台，利用AI技术，提供多模态实时驱动虚拟数字人的解决方案。它通过SDK和管理后台，解决产品和终端的虚拟数字人驱动问题。在元宇宙世界中，Motionverse能满足大量虚拟数字人的动作表情需求，通过各种输入情况，智能实时生成所需的动作表情和口型。作为中台产品，Motionverse以API/SDK的形式，向行业开放性提供解决方案，使数字人驱动变得更简单，更实时，更低成本。
2023-07-17 17:07:06
3162
原创 国内外数字人驱动平台对比一览表
无论是元宇宙社区、数字人的App，还是线下大屏、VR/AR设备，只要有数字人的地方，Motionverse都可以让驱动变得更简单、更实时、更低成本。Microsoft：在Azure平台上，数字人驱动是利用Azure的云计算和人工智能服务来创建、部署和管理虚拟数字人的过程。Azure提供了一系列的服务和工具，帮助开发者和创作者构建逼真的数字人形象，并赋予其智能和交互能力。使用Azure的认知服务，如人脸识别、情感分析和语音识别，使数字人能够与用户进行自然交互，实现更加沉浸式和个性化的用户体验。
2023-07-12 11:22:57
794
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人