清华军团推出中国首个对标Sora的视频大模型Vidu，扒一扒它背后的模型架构

就在前天，Vidu 在 2024 中关村论坛年会之中横空出世。

伴随着“中国首个”，“Sora 级视频模型”，“模拟真实的物理世界”等关键词下的刷屏式的报道，Vidu 一下成为国产视频模型的一剂强心针。

尽管目前 Vidu 支持的视频长度是 16 秒，尚未达到 Sora 的 60 秒级，但是单看 Vidu 的宣传视频，如果以 Sora 为对标，可以看出 Vidu 在如时空一致性、物理规律遵循以及多镜头等等方面都已经对 Sora 不遑多让。

背靠清华军团，提出全球首个Diffusion + Transformer架构U-ViT，早于Sora

撇开视频的质量不说，笔者发现了一个更牛逼的事情：

Vidu背后的模型架构U-ViT 和 Sora 的核心架构 Diffusion Transformer（DiT）完全一致，且更早于DiT的发表时间。

这家在 2023 年 3 月份成立的“清华军团”生数科技，其实早在 2022 年 9 月，其创业团队就发布了基于 Transformer 架构的底层统一网络框架 U-ViT。

而Sora 的核心架构 Diffusion Transformer（DiT） 发布于 2022 年 12 月。

但其实这两项工作在架构思路与实验路径上完全一致，核心 idea 都在于将 Transformer 与 Diffusion Model 进行结合。

论文链接：
https://arxiv.org/pdf/2209.12152

而也因此，人工智能领域的著名科学家，清华大学人工智能研究院副院长、也是生数科技的首席科学家朱军教授面对 Sora 就曾提到：“虽然Sora的出现表明美国在多模态大模型领域具有领先性，但是中国也并非完全从零开始的阶段”

其实就在 Sora 发布后不久，我们就梳理了当时国内「类Sora模型」的发展现状，在当时尽管文生视频模型国内已经有不少大厂创企进行过尝试，但是那时的视频生成可能还只能是说“让图片动起来”，大部分的改进也都是在于如何让这个动起来的图片更高清或分辨率更高，而不是像 Sora 一样直接作为一个 World Simulator 而出现。

不单在国内，自 Sora 发布以来的三个月，Vidu 目前是世界唯一一个突破 Sora 级的视频大模型。其实如果从 Transformer + Diffusion Model 这个 idea 构建伊始去看 Vidu，我们可以发现从一开始 Vidu 与 Sora 事实上就在走同一条路线。

2023 年 3 月，对标文生图的 Stable Diffusion，生数科技就已经开源了全球首个基于 U-ViT 框架的多模态扩散大模型 UniDiffuser，其模型参数量从最早开源版的 1B 不断扩展至 3B（30亿）、7B、10B及以上，参数量和训练数据规模上都与 Stable Diffusion 直接对齐，成功完成 U-ViT 的可扩展性验证。

从 Diffusion Model 的最初的网络架构——基于 CNN 的 U-Net 架构出发，与 Sora 的 DiT 一样，U-ViT 的核心思想都在于将基于 CNN 的网络替换为基于 Transformer 的网络。

从 2019 年 Song Yang 那篇从 Score-Based Model 视角理解生成模型的文章首次使用 U-Net 伊始，后续扩散模型的各种标杆工作，如大名鼎鼎的 DDPM，ADM，Imagen 等等都基于 U-Net 架构对 Diffusion Model 中的“噪音”进行建模，一个传统的 U-Net 网络大致如下图所示：

而其实随着 Vision Transformer（ViT）逐渐在各类视觉任务中展露头面，一个很自然的想法其实就是“扩散模型网络架构是否一定需要基于 CNN？”，这个答案很快就被 U-ViT 与 DiT 所回答：“显然不是，甚至 Transformer 更好”

而为了验证最开始的“直觉”，U-ViT 设计了如下的基于 ViT 的网络架构，利用 ViT 的思路，U-ViT 将带噪图片划分多个 Patch，结合扩散模型中的扩散时间步，条件等等作为 Token 输入到 Transformer Block 之中。

除了这步将 ViT 模式搬运到扩散模型中的一步以外，U-ViT 还受 U-Net 启发，采用了浅层和深层之间的 Long skip Connection。采取 Long skip Connection 的直观在于，扩散模型利用预测噪声“去噪”的过程，高度依赖图像中的“Low-Level Feature”，例如边缘，角，颜色等等，而这种连接通过将 Low-Level Feature 从网络的浅层引入到深层，从而大大提升了扩散模型的预测能力，也进一步的提升了模型的图像生成能力。

而 Sora 背后的 DiT 思路也几乎完全一致，最核心的一步都是将 ViT 引入到扩散模型之中，实现 VAE encoder + ViT + DDPM + VAE decoder 的组装：

===

U-ViT曾被CVPR 2023拒稿，后被ICCV 2023 接受

有意思的插曲是，DiT 最初也是投稿于 CVPR 2023，但是由于CVPR 2023 收录了 U-ViT 论文，因此 DiT 被以「缺乏创新」为由而拒稿，后来才被 ICCV 2023 接收：

当然彼时，无论是 U-ViT 还是 DiT 都还停留在图像生成的领域，尚且还未发展到视频生成这一步，不过在 2023 年 3 月，朱军教授团队的工作 UniDiffuser 在 U-ViT 的基础上，将扩散模型往多模态方向推进了一步。UniDiffuser 除了单向的文生图以外，还能实现如图生文，图文联合生成，图文改写等等能力，从「多模型」出发，UniDiffuser 其实早在一年前就为今天 Vidu 的出现埋下了伏笔。

在 Vidu 发布之后，朱军教授发声：“Vidu，we do, we did, we do together！感谢小伙伴们日以继夜的坚持，在实验室架构上开花结果。”

其实，可能与许多其他公司基于「复制」的“追赶者战略”不同，Vidu 实实在在的从机器学习与多模态大模型的理论研究与训练经验中走出了一条自己的道路，可能也正是因为这些积累，才让 Vidu 在短短两个月的时间内就突破了 Sora 背后的许多关键技术。

而甚至不同于 Sora 的视频生成，Vidu 一开始就建立在一个多模态扩散模型的基础之上。当下视频生成可能也仅仅是 Vidu 的一个展示形态，从这个意义上来讲，可能 Vidu 当下可以许诺的，不仅仅是一个“中国版的 Sora”那么简单吧！

大模型岗位需求

大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好，希望能够真正帮助到大家。

-END-

---

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓