Part.1 Sora技术路径打卡（纯小白）

 一.学习内容

二.学习亮点

三.如何学习

Sora技术路径详解

问题：

1.Sora的能力边界在哪里？

①训练数据质量：Sora的性能和泛化能力受到训练数据质量的限制。如果训练数据不足或者质量不高，可能会影响Sora模型的性能和表现。

②计算资源限制：Sora的性能和效率受到计算资源的限制。如果计算资源有限，可能会影响Sora模型的训练和推理速度，限制其在大规模数据集上的应用。

③输入数据多样性：虽然Sora支持不同长度、不同分辨率的输入数据，但对于极端情况下的输入数据（比如极端长文本或极高分辨率图像），Sora可能会遇到一定的限制，需要额外的处理和优化。

④模型结构设计：Sora的性能和能力也受到模型结构设计的限制。如果模型结构设计不合理或者不充分考虑特定任务的需求，可能会影响Sora的性能和表现。

⑤应用场景需求：Sora的能力边界还受到具体应用场景需求的限制。不同的任务和应用场景可能对模型的性能和功能有不同的要求，需要根据具体情况进行调整和优化

2.模型训练的流程是什么？

3.有哪些关键技术？

ViT、DiT、Transformer等等下面有介绍。

01 Sora能力边界探索

Sora能力强，强在哪儿？

①最大支持60秒高清视频生成，以及基于已有短视频的前后扩展，同时保持人物/场景的高度一致性

②如奶茶般丝滑过渡的视频融合能力（感觉像德芙一样的丝滑），视频过渡毫无违和感

③同一场景的多角度/镜头的生成能力

④具有动态摄像机运动的视频，随着摄像机的移动和旋转，人和其他场景元素在三维空间中一致地移动

⑤支持任意分辨率，宽高比地视频输出

⑥Text to lmage文生图能力很强

Sora强的同时，有缺点吗？

• Sora对物理规律的理解仍然十分有限

视频拓展（前后双向）理解：比如说我手上有一个视频，我可以基于他用文本输入prompt，在我的视频之前加一个前置的视频。

02 Sora模型训练流程
Sora是一个再不同时长、分辨率和宽高比的视频及图像上训练而成的扩散模型，同时采用了Transformer架构。

||技术报告分析
原文链接：https://openai.com/research/video-generation-models-as-world-simulators

||模型训练模型

模块一：Visual Encoder
作用：原始视频数据切分为Patches通过VAE编码器压缩成低维空间表示，后续提取空间中的特征

统一表示不同类型的视频数据

模块二：Diffusion Transformer

作用：基于Diffusion Transformer完成从文本语义到图像语义的再映射,构建 文本→图片，为下一步生成新的图片做铺垫。

模块三：Transformer Decoder

作用：通过上一个模块Diffusion Transformer生成的低维空间表示，通过VAE解码器恢复成像素级的视频数据

DDPM学习：

Sora从latent diffusion中怎么进行改造的？

• Condition部分只要输入图片信息和文本信息就可以了，不用输入视频信息也不需要对视频信息进行训练。
• 原本的U-net架构改为了Scaling Transformers架构。

03 Sora关键技术拆解

什么是ViT？

逐渐汗流浃背…(有点听不懂）

ViT解决的是图片数据，而视频数据是包含时间序列的，所以就有下面的VIVIT。

时空编码Spacetime latent patches

时空编码（Spacetime Encoding）是一种用于数据传输和存储的技术，其中时空潜在补丁（Spacetime Latent Patches）是其中的一部分。

时空编码是一种通过同时利用时间和空间维度来提高传输和存储效率的方法。在传统的传输和存储系统中，数据通常以时序的方式进行传输，一个数据片段接着一个数据片段。然而，通过引入时空编码，可以同时利用时间和空间维度，在一次传输或存储过程中处理多个数据片段。

时空潜在补丁是时空编码技术的一种实现方式。它通过将数据分成多个小片段并进行编码，然后在传输或存储时同时发送或保存这些片段。这样做的好处是可以增加系统的并行性和容错性。即使在传输或存储过程中发生某些数据片段的丢失或损坏，通过使用时空潜在补丁的纠错机制，系统仍然可以恢复原始数据。

时空编码和时空潜在补丁通常用于无线通信、多媒体传输和分布式存储等领域。它们提供了一种有效的方法来提高数据传输和存储的可靠性和效率，同时减少了对额外资源（如带宽、存储空间）的需求。

总而言之，时空编码和时空潜在补丁是用于数据传输和存储的技术，通过利用时间和空间维度来提高系统的效率和可靠性。它们在无线通信、多媒体传输和分布式存储等领域有着广泛的应用。

为什么Sora支持不同长度、不同分辨率的输入？

Sora支持不同长度和分辨率的输入是为了提供更大的灵活性和适应性，以满足不同用户和应用程序的需求。不同长度和分辨率的输入可以适应不同的设备和环境，并且可以提供更广泛的选择和定制选项。这种灵活性可以使用户根据自己的喜好和需求进行调整，从而获得更好的用户体验和更高的工作效率。

难点剖析：

压缩率的确定：确定合适的压缩率是一个关键问题。在实际应用中，需要在压缩率和视频质量之间找到一个平衡点，以满足用户需求。通过实验和调整，可以探索不同压缩率下的性能表现，并选择最适合的压缩率。

Encoder的复杂度：Encoder的复杂度直接影响了模型的性能和计算成本。较复杂的Encoder可能能够提取更丰富的视频特征，但也会增加训练和推理的时间。因此，在设计视频压缩网络时，需要权衡复杂度和性能，尽量保持Encoder结构简洁高效。

错杂交互的范围：错杂的交互范围可能会增加模型的复杂性和训练难度。在实验中，可以尝试不同的交互方式和范围，以找到最适合的模型结构。同时，也可以考虑引入一些注意力机制或者其他技术来优化错杂的交互过程。

综上所述，对于这些技术难点，我认为可以通过深入的实验和探索来解决。通过不断调整参数、尝试新的结构和方法，可以逐步优化视频压缩网络，提高其性能和效率，从而更好地应用于实际场景中。同时，也可以借鉴相关领域的研究成果，结合自身实际情况，找到适合Sora模型的解决方案。

Diffusion Transformer（DiT）是一种新型的神经网络结构，结合了Transformer和Diffusion Model的优势。DiT的设计灵感来自于Diffusion Model，该模型通过对数据进行多次采样和更新来逐步提高模型的性能。DiT结合了Transformer的自注意力机制和Diffusion Model的采样更新策略，能够更好地处理长距离依赖关系和捕捉全局信息。

在DiT中，输入数据首先通过Transformer的编码器和解码器进行编码和解码，然后通过多次迭代的Diffusion步骤来逐步提高模型的性能。在每次Diffusion步骤中，模型会对数据进行多次采样和更新，以逐步提高模型的预测能力。这种结合了Transformer和Diffusion Model的设计使得DiT能够更好地处理长序列数据和全局信息的捕捉，提高了模型的性能和泛化能力。

总的来说，DiT是一种结合了Transformer和Diffusion Model的新型神经网络结构，能够更好地处理长序列数据和全局信息的捕捉，提高了模型的性能和泛化能力。

网络结构 ：DALLE 2

DALL-E 2是OpenAI推出的一种基于Transformer架构的生成式模型，它是DALL-E模型的升级版本。DALL-E 2的核心思想是将图像和文本之间的关系进行编码，从而实现图像生成文本、文本生成图像的功能。

DALL-E 2的网络结构基于Transformer架构，其中包含了编码器和解码器模块。编码器负责将输入的图像或文本编码成隐藏表示，解码器则根据这些隐藏表示生成对应的输出。DALL-E 2还采用了自注意力机制，使得模型能够更好地捕捉输入数据中的长距离依赖关系。

与DALL-E相比，DALL-E 2在模型规模和训练数据集上都有所提升，从而提高了生成图像和文本的质量和多样性。DALL-E 2还引入了一些新的技术和模块，如对抗训练和条件生成等，以进一步提升模型的性能。

总的来说，DALL-E 2是一种基于Transformer架构的生成式模型，能够实现图像生成文本、文本生成图像等功能，具有更高的生成质量和多样性。

04老师的思考与总结

05 自己的总结（浅薄）

Sora是一种支持不同长度、不同分辨率的输入的神经网络结构，它的灵活性和适应性使其在各种应用场景中具有广泛的应用前景。通过支持不同长度和分辨率的输入，Sora能够更好地适应不同设备和环境，提供更多的选择和定制选项，从而提高用户体验和工作效率。

首先，Sora的灵活性使其能够适应不同长度的输入数据。在处理自然语言处理任务时，输入数据的长度可能会有很大的变化，有些任务可能需要处理长文本，而有些任务可能只需要处理短文本。Sora支持不同长度的输入数据，可以根据具体任务的需求进行调整，从而更好地适应不同长度的输入数据。

其次，Sora支持不同分辨率的输入数据。在处理图像数据时，不同设备和应用场景可能需要不同分辨率的输入数据。有些任务可能需要处理高分辨率的图像，而有些任务可能只需要处理低分辨率的图像。Sora的支持不同分辨率的输入数据，可以适应不同设备和环境的需求，提供更大的灵活性和适应性。

此外，Sora的支持不同长度、不同分辨率的输入也为模型的训练和优化提供了更多的选择和可能性。通过在训练过程中使用不同长度和分辨率的输入数据，可以更好地探索模型的潜力，提高模型的泛化能力和性能。这种多样化的输入数据还可以帮助模型更好地适应不同环境和任务，提高模型的适应性和通用性。

总的来说，Sora作为一种支持不同长度、不同分辨率的输入的神经网络结构，具有很大的潜力和应用前景。它的灵活性和适应性使其能够在各种应用场景中发挥作用，提高用户体验和工作效率。通过支持不同长度和分辨率的输入数据，Sora为模型的训练和优化提供了更多的选择和可能性，有助于提高模型的性能和泛化能力。我觉得随着人工智能技术的不断发展和应用需求的不断增加，Sora将会在各个领域发挥重要作用，推动人工智能技术的进步和应用。

图片素材来自于Datawhale资源中，侵删