OpenAI｜全网为Sora疯狂！

前言

大家好，我是李同学，感谢各位的点赞、收藏、评论

2月16日凌晨OpenAI发布了文本生成视频的新应用模型Sora

官方出品必属精品！

Link：openai.com/sora

本文阅读成本与收益如下：

阅读耗时：3mins

预期效益

• 认识Sora
• 了解Sora的不足
• 如何体验Sora的能力
• Sora技术原理分析报告

认识SORA

Sora是OpenAI首个视频生成模型，拥有与DALL·E 3的画面质量以及指令能力

Sora 在日语中意为天空，之所以选择这个名字，是希望它能激起无限的创造潜力。

该模型可以帮助用户通过简单的文本描述视频中的内容，即可在短时间内得到一个分钟级别的视频素材

官方给出来不少prompt生成视频的例子：

• 一位富有气质的女生走在人来人往的街道上：视频呈现的效果如同真实摄像机拍摄得到，镜头距离人物由远到静，甚至可以生成人物的细节，模拟特写效果

• 生成一段加州淘金热时期的历史录像：视频画质稍带历史年代感的模糊效果，内容方面模拟了古代村落的景观

• ......

当然还有非常多的例子，这里不一一列举，感兴趣的小伙伴执行查看官网的视频～

总的来说 Sora 能够生成具有多个角色、特定运动类型以及主题和背景的准确细节的复杂场景，并具有以下特性

• 理解用户在提示中所要求的内容，而且还理解这些事物在物理世界中的存在方式。
• 对语言有着深刻的理解，使其能够准确地解释提示，并生成令人信服的字符
• 能够表达充满活力的情感
• 在一个生成的视频中创建多个镜头，以准确地保存字符和视觉风格

了解Sora的不足

Sora目前存在明显弱点，可能难以非常准确保证模拟复杂场景的物理过程，也可能无法理解因果关系的具体实例。比如：一个人可能咬了一口饼干，但之后饼干上可能没有咬痕。

该模型还可能混淆提示的空间细节，例如：混淆左右，并可能难以准确描述随着时间发生的事件，比如跟随特定的摄像头轨迹。

例子：

• 步进打印一个人奔跑的场景，电影胶片拍摄在35毫米。（制造出身体上令人难以置信的动作：人在跑步机上的跑步方向不寻常）

• 五只灰狼幼崽在一条偏远的砾石路上嬉戏，相互追逐，周围是草。幼崽们奔跑跳跃，互相追逐，相互咬咬，嬉戏。（制作了一段动物不断增加的视频：狼的数量会变化，一些凭空出现或消失）

如何体验Sora的能力

暂时还没收到官方的邀请，有兴趣的小伙伴可以一起蹲一下哈

感受

从22年的ChatGPT、midjourney的模型生文生图，到今天的视频生成的只用了短短的一年时间，这一年以来关于人工智能的各种出圈都非常让人震惊，仿佛每隔几个月都开始科技圈 / 技术圈的一次盛宴，AIGC带来的能力逐渐从台后来到台前帮助人们更好的工作与生活，未来内容生成的应用将会更加的广泛。

参考

• 官方模型首页：openai.com/sora

• 官方研究报告：openai.com/research/vi…

• NaViT，适用于任何宽高比和分辨率的视觉转换器：arxiv.org/pdf/2307.06…

• 知乎Sora技术相关优秀回复：www.zhihu.com/question/64…

讲到最后

2024新年假期接近尾声，准备上班了，写篇文章热热身，争取2024持续输出内容～