Google发布Genie:“一张图片生成一个交互世界”。

原创止观创投止观舍 前天,Google发布了一个新的AI基础世界模型Genie(中文意思是“精灵”),被认为有可能为AI领域带来革命性的突破。

网址:https://sites.google.com/view/genie-2024/

Genie模型来源于Google DeepMind发表的最新成果(Genie: Generative Interactive Environments),基于最先进的视频生成模型的思想(Villegas等人、2023年;Gupta等人、2023年),核心设计选择是时空(ST)变换器(Xu等人、2020年),在模型组件中都得到了应用。

Genie到底是什么?

Genie是第一个通过未标记互联网视频以无监督方式训练的生成式交互环境。它可以接收文本提示、合成图像、照片甚至草图或想法,并生成无数种动作可控的、能够互动的虚拟世界环境。

生成的这些场景是可玩的,允许用户控制并与环境中的元素互动,从而提供了一个全新维度的游戏和探索体验,而且它还能够从数据中学习并再现这些复杂的物理行为。

Genie的模型规模及技术架构

Genie拥有110亿参数,被视为一个基础世界模型,底层是基于 ViT(Vison Transfoker)的,Deep mind团队特别使用一套内存高效的 ST-transfomer 架构(包含时空注意力)。

另外,还使用了三个关键组件:时空视频分词器、因果动作模型(LAM,基于像素)和动力学模型(基于视频token)。

Genie是通过网络上超过20万小时的2D游戏视频进行训练的,目前仍处于研究预览阶段。尽管在训练过程中没有使用任何真实动作标签,但Genie仍然使用户能够在生成的环境中逐帧进行操作。

它是在无监督和无标签视频的情况下进行训练的,能够学习各种角色的动作、控制和行动,做到一致性。

DataSky企业AI云盒是成都数据天空科技有限公司专为国内企业打造的私有化AIGC云盒产品,AI云盒满足企业在AIGC时代的数据隐私保护与定制化需要,挖掘企业数据资产。为了更好地保护数据隐私,DataSky着重通过边缘端对企业身份数据进行脱敏化处理。企业AI云盒采用了DataSky自研的大模型隐私保护脱敏技术保证用户身份信息匿名化,对于人工智能来说用户的身份信息无法逆向追踪,从而为企业和个人用户使用AI提供了一个隐私保护沙盒。同时DataSky企业AI云盒还能提供AI生成内容的数据挖掘、分析,企业可以深入了解员工使用情况、解决的问题类型和关注点,从而更加聚焦经营策略,提升企业的竞争力和创新能力。

最后,DataSky企业AI云盒具备更低的使用成本。AI云盒没有使用量和人数限制,用户能够以极低的成本畅享AIGC。企业AI云盒集成了众多国内外知名的大模型,如ChatGPT-3.5、GPT4、GPT4多模态、Stable Diffusion、Midjourney、DALL·E 3、文心一言、通义千问等,为用户提供了更加丰富的功能和选择。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值