Sora的阅读技术报告

走进sora

大家好，我是清风之上。随着人工智能的发展，慢慢的他已经出现在我们生活中的各个角落，其中有API推出的sora，让我们震惊不已，用sora导演出一个片段、一场电影等。如果你也想学习了解sora, 可以仔细阅读这篇文章，了解一下sora的技术报告。

sora的特性

Sora 是一种 AI 模型，可以从文本指令中创建逼真且富有想象力的场景

sora的介绍

我们正在教人工智能理解和模拟运动中的物理世界，目的是训练模型，帮助人们解决需要现实世界交互的问题。

隆重推出我们的文本转视频模型 Sora。Sora 可以生成长达一分钟的视频，同时保持视觉质量并遵守用户提示。

sora的实际操作

提示：一位时尚女士走在东京的街道上，街道上到处都是温暖的霓虹灯和动画城市标牌。她身穿黑色皮夹克、红色长裙和黑色靴子，背着一个黑色钱包。她戴着墨镜，涂着红色口红。她自信而随意地走路。街道潮湿且反光，营造出五颜六色的灯光的镜面效果。许多行人四处走动。

sora的发展

今天，Sora正在向红队成员提供，以评估关键领域的危害或风险。我们还向一些视觉艺术家、设计师和电影制作人提供访问权限，以获得有关如何推进模型的反馈，使其对创意专业人士最有帮助。

我们尽早分享我们的研究进展，以便开始与 OpenAI 以外的人合作并从那里获得反馈，并让公众了解即将出现的 AI 功能。
提示：淘金热期间加利福尼亚的历史镜头

Sora 能够生成具有多个角色、特定类型的运动以及主题和背景的准确细节的复杂场景。该模型不仅了解用户在提示中请求的内容，还了解这些内容在物理世界中的存在方式。

提示：镜头跟随一辆带有黑色车顶行李架的白色老式SUV在陡峭的山坡上加速行驶，周围环绕着松树，灰尘从轮胎上扬起，阳光照在SUV上，沿着土路加速，为场景投下温暖的光芒。土路缓缓地向远处弯曲，看不到其他汽车或车辆。道路两旁的树木是红杉，到处都是绿色植物。从后方可以看到这辆车可以轻松地沿着弯道行驶，让人觉得它好像是在崎岖的地形上崎岖不平地行驶。土路本身被陡峭的丘陵和山脉所环绕，头顶是湛蓝的天空，云朵飘飘。

该模型对语言有深刻的理解，使其能够准确地解释提示并生成表达充满活力的情感的引人注目的角色。Sora 还可以在单个生成的视频中创建多个镜头，以准确保留角色和视觉风格。

提示：参观一个艺术画廊，那里有许多不同风格的精美艺术作品。

目前的模型有弱点。它可能难以准确模拟复杂场景的物理特性，并且可能无法理解因果关系的具体实例。例如，一个人可能会咬一口饼干，但之后，饼干可能没有咬痕。
该模型还可能混淆提示的空间细节，例如，混淆左右，并且可能难以精确描述随时间发生的事件，例如跟踪特定的相机轨迹。

提示：一个人奔跑的步进打印场景，以 35 毫米拍摄的电影胶片。

安全措施

在OpenAI的产品中提供Sora之前，我们将采取几个重要的安全措施。我们正在与红队成员合作，他们是错误信息、仇恨内容和偏见等领域的领域专家，他们将对模型进行对抗性测试。

我们还在构建工具来帮助检测误导性内容，例如检测分类器，可以判断视频是由 Sora 生成的。我们计划包括C2PA 元数据将来，如果我们将模型部署到 OpenAI 产品中。

除了开发新技术来准备部署之外，我们还利用现有的安全方法我们为使用 DALL·E 3，也适用于 Sora。

例如，一旦进入 OpenAI 产品，我们的文本分类器将检查并拒绝违反我们使用政策的文本输入提示，例如请求极端暴力、色情内容、仇恨图像、名人肖像或他人 IP 的提示。我们还开发了强大的图像分类器，用于查看生成的每个视频的帧，以帮助确保它符合我们的使用政策，然后再向用户展示。

我们将与世界各地的政策制定者、教育工作者和艺术家合作，了解他们的担忧，并确定这项新技术的积极用例。尽管进行了广泛的研究和测试，但我们无法预测人们使用我们技术的所有有益方式，也无法预测人们滥用技术的所有方式。这就是为什么我们认为，随着时间的推移，从实际使用中学习是创建和发布越来越安全的人工智能系统的关键组成部分。

研究技术

提示：相机直接对着意大利布拉诺岛五颜六色的建筑。一只可爱的斑点狗透过一楼一栋建筑物的窗户望去。许多人沿着建筑物前的运河街道步行和骑自行车。
Sora 是一种扩散模型，它通过从看起来像静态噪声的视频开始生成视频，然后通过多个步骤消除噪声来逐渐转换它。

Sora 能够一次生成整个视频或扩展生成的视频以使其更长。通过一次为模型提供多个帧的预见性，我们解决了一个具有挑战性的问题，即确保主体即使暂时离开视野也能保持不变。

与 GPT 模型类似，Sora 使用 transformer 架构，解锁了卓越的扩展性能。

我们将视频和图像表示为称为补丁的较小数据单元的集合，每个数据单元都类似于 GPT 中的一个令牌。通过统一我们表示数据的方式，我们可以在比以前更广泛的视觉数据上训练扩散转换器，跨越不同的持续时间、分辨率和纵横比。

Sora 建立在 DALL·E 和 GPT 模型。它使用了DALL·E 3，涉及为视觉训练数据生成高度描述性的标题。因此，该模型能够更忠实地遵循用户在生成的视频中的文本说明。

除了能够仅根据文本指令生成视频外，该模型还能够获取现有的静止图像并从中生成视频，从而准确并注意小细节，从而对图像的内容进行动画处理。该模型还可以拍摄现有视频并对其进行扩展或填充缺失的帧。在我们的技术报告中了解更多信息.

Sora 是能够理解和模拟现实世界的模型的基础，我们相信这一功能将是实现 AGI 的重要里程碑。