太炸了!OpenAI深夜发布Sora,文字直接生成视频!

OpenAI发布了首个能输出60秒视频的模型Sora,展示了高度复杂的画面和情感表达。尽管存在物理模拟和空间细节处理的局限,但Sora标志着内容创作领域的新变革,OpenAI寻求艺术家反馈以优化模型。
摘要由CSDN通过智能技术生成

OpenAI再次扔出一枚深水炸弹,发布了首个文生视频模型Sora。据介绍,Sora可以直接输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。

目前官网上已经更新了48个视频demo,在这些demo中,Sora不仅能准确呈现细节,还能理解物体在物理世界中的存在,并生成具有丰富情感的角色。该模型还可以根据提示、静止图像甚至填补现有视频中的缺失帧来生成视频。

333ef7738bff4e19ba63e4341879a2db.jpeg

例如一个Prompt(大语言模型中的提示词)的描述是:在东京街头,一位时髦的女士穿梭在充满温暖霓虹灯光和动感城市标志的街道上。

在Sora生成的视频里,女士身着黑色皮衣、红色裙子在霓虹街头行走,不仅主体连贯稳定,还有多镜头,包括从大街景慢慢切入到对女士的脸部表情的特写,以及潮湿的街道地面反射霓虹灯的光影效果。

e49b557336ca892842a0df6ff89e14d4.gif

电影预告片讲述了30岁宇航员戴着红色羊毛针织摩托车头盔的冒险经历,蓝天、盐漠,电影风格,35毫米胶片拍摄,色彩鲜艳。

AI想象中的龙年春节,红旗招展人山人海。有紧跟舞龙队伍抬头好奇观望的儿童,还有不少人掏出手机边跟边拍,海量人物角色各有各的行为。

77a03afa0ecd53d191d7d2c4215cab42.gif

竖屏超近景视角下,这只蜥蜴细节拉满:

d0b07bee6607456941963b49f8c61770.gif

网友直呼game over,工作要丢了:

49d5b4cd5f3ace70e00d8b64cf8b00c1.png

甚至有人已经开始“悼念”一整个行业:

188156ad55b37c59be57d749cdabef94.png

还有网友表示,电影业要彻底颠覆了。

26f32b1cb2c9a18cc51717531cd88d82.png

9c3ac318704bd780d3b4e0a01480ffc9.png

4379348e8c4be6aa73d8f3d24cf59512.png

6fac751938517cb28810181960712860.png

9423617d17d66280bfa7438e9e75ba42.png

一位YouTube博主Paddy Galloway发表了对Sora的感想,他表示内容创作行业已经永远的改变了,并且毫不夸张。“我进入YouTube世界已经15年时间,但OpenAI刚刚的展示让我无言…动画师/3D艺术家们有麻烦了,素材网站将变得无关紧要,任何人都可以无壁垒获得难以置信的产品,内容背后的‘想法’和故事将变得更加重要。”

对于Sora当前存在的弱点,OpenAI也不避讳,指出它可能难以准确模拟复杂场景的物理原理,并且可能无法理解因果关系。

例如“五只灰狼幼崽在一条偏僻的碎石路上互相嬉戏、追逐”,狼的数量会变化,一些凭空出现或消失。

074b55884ae0ea47f5dcdf23143ee949.gif

该模型还可能混淆提示的空间细节,例如混淆左右,并且可能难以精确描述随着时间推移发生的事件,例如遵循特定的相机轨迹。

如提示词“篮球穿过篮筐然后爆炸”中,篮球没有正确被篮筐阻挡。

64ad4daa66a9a9312c71a11115813369.gif

OpenAI表示,他们正在教AI理解和模拟运动中的物理世界,目标是训练模型来帮助人们解决需要现实世界交互的问题。

随后OpenAI解释了Sora的工作原理,Sora是一个扩散模型,它从类似于静态噪声的视频开始,通过多个步骤逐渐去除噪声,视频也从最初的随机像素转化为清晰的图像场景。Sora使用了Transformer架构,有极强的扩展性。

视频和图像是被称为“补丁”的较小数据单位集合,每个“补丁”都类似于GPT中的一个标记(Token),通过统一的数据表达方式,可以在更广泛的视觉数据上训练和扩散变化,包括不同的时间、分辨率和纵横比。

Sora是基于过去对DALL·E和GPT的研究基础构建,利用DALL·E 3的重述提示词技术,为视觉模型训练数据生成高描述性的标注,因此模型能更好的遵循文本指令。

如今,Sora正面向部分成员开放,以评估关键领域的潜在危害或风险。同时,OpenAI也邀请了一批视觉艺术家、设计师和电影制作人加入,期望获得宝贵反馈,以推动模型进步,更好地助力创意工作者。OpenAI提前分享研究进展,旨在与OpenAI以外的人士合作并获取反馈,让公众了解即将到来的AI技术新篇章。

dc22261e93faeab4942b6e1724a9b632.png

来源:每日经济新闻综合界面新闻、量子位、OpenAI官网等

推荐阅读    点击标题可跳转

1、GitHub 标星 15w,如何用 Python 实现所有算法?

2、latexify,一个不错的Python库

3、patchworklib,一款极其强大的 Python 库!

4、刷课必备!用Python实现网上自动做题

爱点赞的人,运气都不会太差4ba9c31cac3a9c98a5f0ec328284fd8b.jpeg

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值