想要实现自己的AI小镇吗?
github.com/a16z-infra/AI-town
a16z开源了一个项目,每个人都可以用它来自定义自己的AI小镇。这是一个虚拟城镇,其中的AI角色可以生活、聊天和社交。这个项目是一个可部署的初始套件,用于轻松构建和定制自己的AI城镇。
这些AI角色就是我们常说的生成式代理(Generative Agents),这些代理能够模拟人类行为,并在虚拟环境中进行交互。
它使用Convex作为游戏引擎、数据库和向量搜索工具。
该项目的目标是提供一个可扩展的平台,适用于从简单的项目到可扩展的多人游戏。可以使用Ollama进行本地推理,也可以配置其他云服务提供商的模型。
🚀 技术方案
- 🕹️ convex
Convex是一种全新、有趣且极具生产力的方式,可以使用100%的TypeScript来构建全栈应用的后端。使用Convex作为游戏引擎、数据库和向量搜索工具。
- 🔒Auth: Clerk
用于管理用户登录注册的saas服务 (非必选)
- 🎨Game asset generation & Background Music Generation
使用replicate 或者是 serverless.fal.ai 来创建游戏素材
-🧠Text model: Local LLM & OpenAI
默认使用llama3
,向量模型使用 mxbai-embed-large
,LLM 完成智能体的日常规划和对话生成。
❓ 有哪些配套的工具,帮助我们更容易创建
更简单的安装方式
AI-town 现在在 Hugging Face Spaces 上运行,使用我们的 LLM 和嵌入 API,包括开源 Convex 后端,所有这些都在一个容器中。易于复制和自行配置 huggingface.co/spaces/radames/ai-town
github.com/ykhli/cat-town
还有喵星人版本的AI小镇
github.com/cocktailpeanut/townplayer
AI小镇也有人开发了个播放器,可以回放小镇上的生活。
github.com/Viola-Siemens/AI-Town-Map-Generator
AI-Town-Map-Generator是一个用于AI Town的地图生成器网站。可以通过添加图层和对象来生成地图,并提供了绘制地图的使用方法。
x.com/cocktailpeanut/status/1791788482420998535
我们还可以使用gpt-4o创建角色
📞 产品 AI town
Fixie.ai 推出的 AI 小镇项目,可以创建自己的角色,并可以跟不同的角色进行实时语音对话。实时语音对话用的 livekit ,交互延迟在 1 秒左右。
https://t.zsxq.com/jkniX
LiveKit Agents是一个用于构建运行在服务器上的实时可编程参与者的框架。它可以轻松地连接到LiveKit WebRTC会话,并处理或生成音频、视频和数据流。框架包括一些常见的插件,如语音活动检测和语音转文本。
Fixie.ai正在构建能够像人类一样自然交流的人工智能。他们认为,有用、高效和易于接触的人工通用智能(AGI)需要能够在快节奏、模糊不清的自然人类交流世界中运作的模型。
Fixie.ai在研究自然交流的AI,也提出了一个衡量指标就是反应时间,人类大约在200ms以内,据他们评测的结果llama-3-8b-chat可以做到。
🌏 AI小镇有什么用处?
一些启发性的想法
通过连接现实世界与 AI-town,让居民讨论时事和全球新闻;
测试城市规划理论和建筑设计,观察AI代理如何应对变化;
在AI-town中创建一个艺术社区,让艺术家们展示作品并与其他用户进行交流和合作;
开发一个教育模块,让用户能够在AI-town中参与学习活动,共享知识;
建立一个虚拟商业系统,让用户可以在AI-town中创建和管理虚拟企业,进行交易和合作,并体验商业运营的各个方面;
组织各种社交活动和互动,如派对、比赛、聚会等,让用户能够在AI-town中建立社交关系和参与有趣的社区活动;
建立一个参与式的社区治理系统,让用户能够参与决策、提出建议和共同管理AI-town的发展和运营;
欢迎加入Mixlab,探索你想创造的东西。
备注:AITown
youtu.be/gjV4KIY5nqI?si=Kuqg_UNjzuOGv763
如果你想自己创建一个,可以观看视频教程