北大&字节提出VAR新范式，GPT超越扩散、视觉生成Scaling Law

最新推荐文章于 2025-01-10 14:59:20 发布
最新推荐文章于 2025-01-10 14:59:20 发布
阅读量1.5k 收藏 10
点赞数 12
文章标签： gpt 机器翻译 人工智能 开源 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nulifancuoAI/article/details/138295006
版权
前言

来自北京大学和字节跳动的研究团队，提出了一种名为"Visual AutoRegressive (VAR) Modeling"的全新视觉生成范式。VAR 重新定义了图像的自回归学习过程，从而使得GPT风格的自回归模型首次超越扩散模型，在图像生成质量、速度和可扩展性等多方面都取得了突破性进展。

  • Huggingface模型下载：https://huggingface.co/FoundationVision/var

  • AI快站模型免费加速下载：https://aifasthub.com/models/FoundationVision

VAR核心思想：模仿人类视觉认知

VAR的核心思想源于人类感知和创造图像的逻辑顺序。相比计算机常用的自上而下、逐行扫描的方式，人类更倾向于先把握全局结构，然后逐步深入细节。

VAR正是借鉴了这种由粗到细的多尺度思路，定义图像的自回归顺序为"下一个更高分辨率的token图谱预测"，而非传统的"下一个token预测"。具体来说，VAR首先使用多尺度量化自编码器(VQVAE)将图像编码为不同分辨率的离散token图谱，然后训练一个自回归Transformer，从最低分辨率的1x1图谱开始，逐步预测出更高分辨率的token图谱。

这种设计不仅更符合人类直觉，而且在计算效率上也有很大优势:在每个尺度内，to

最低0.47元/天 解锁文章
努力犯错
关注
新一代视觉生成范式VAR来啦，首次超越扩散模型！北大&字节出品
深度学习技术前沿
04-18 515
来源：机器之心新一代视觉生成范式「VAR: Visual Auto Regressive」视觉自回归来了！使 GPT 风格的自回归模型在图像生成首次超越扩散模型，并观察到与大语言模型相似的 Scaling Laws 缩放定律、Zero-shot Task Generalization 泛化能力：论文标题: "Visual Autoregressive Modeling: Scalable Imag...
VAR：超越扩散模型的新视觉生成方法
gitblog_00159的博客
08-13 807
VAR：超越扩散模型的新视觉生成方法 VAR[GPT beats diffusion????] [scaling laws in visual generation????] Official impl. of "Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction"项目地址:https://g...
VAR:Visual Autoregressive Modeling: Scalable ImageGeneration via Next-Scale Prediction 论文解读
NPU 研0
12-21 1300
该论文提出了一种新的生成范式VAR视觉自回归模型，这种自回归模型实现coarse to fine的方法进行生成，或者说是next-scale prediction的方式，从低分辨率逐渐生成到高分辨率图像，并且将逐层拼接在一起。而这种生成的模型采用的是类似于GPT-style的transformers方法。而VAR在ImgaNet上做基于class-conditioned的工作，最终超过了AR，Diifsuion，Mask，GAN等基础生成模型架构。
自回归超越扩散！北大、字节 VAR 范式解锁视觉生成 Scaling Law
bytedanceospo的博客
04-15 354
VAR 为如何定义图像的自回归顺序提供了一个全新的视角，即由粗到细、由全局轮廓到局部精调的顺序。在符合直觉的同时，这样的自回归算法带来了很好的效果：VAR 显著提升自回归模型的速度和生成质量，在多方面使得自回归模型首次超越扩散模型。
Visual Autoregressive Modeling:北大字节VAR获最佳论文、厦大清华获亚军，NeurIPS 2024
强化学习曾小健
12-05 1146
为了「解锁」自回归模型的能力和 Scaling Laws，研究团队从图像模态内在本质出发，模仿人类处理图像的逻辑顺序，提出一套全新的「视觉自回归」生成范式：VAR, Visual AutoRegressive Modeling，首次使得 GPT 风格的自回归视觉生成，在效果、速度、Scaling 能力多方面超越 Diffusion，迎来了视觉生成领域的 Scaling Laws。VAR 为如何定义图像的自回归顺序提供了一个全新的视角，即由粗到细、由全局轮廓到局部精调的顺序。
VAR范式：GPT超越扩散、视觉生成Scaling Law
安静的软件工程师
05-04 836
VAR范式：GPT超越扩散、视觉生成Scaling Law
自回归超越扩散！北大、字节VAR范式解锁视觉生成Scaling Law
2401_85324918的博客
07-24 1255
在自然语言处理中，以 GPT、LLaMa 系列等大语言模型为例的 Autoregressive 自回归模型已经取得了较大的成功，尤其Scaling Law 缩放定律和Zero-shot Task Generalizability 零样本任务泛化能力十分亮眼，初步展示出通往「通用人工智能 AGI」的潜力。然而在图像生成领域中，自回归模型却广泛落后于扩散（Diffusion）模型：近期持续刷屏的等模型均属于 Diffusion 家族。此外，对于视觉生成领域是否存在**「Scaling Law 缩放定律」
VAR：一种新的视觉生成方法提升了 GPT 风格的模型，超越了观察到的扩散和缩放定律
04-08
尝试使用VAR！...VAR简介：自回归视觉生成的新范式： 视觉自回归建模 （VAR） 将图像上的自回归学习重新定义为从粗到细的“下一尺度预测”或“下一分辨率预测”，与标准光栅扫描的“下一标记预测”不同。
人工智能-从CHAT-GPT到生成式AI（Generative AI）：人工智能新范式，重新定义生产力.zip
06-07
《人工智能：从CHAT-GPT到生成式AI，重新定义生产力》 随着科技的飞速发展，人工智能（AI）已经成为全球关注的焦点。特别是在近期，CHAT-GPT和生成式AI（Generative AI）的出现，引领了人工智能领域的新一轮革命，...
《VAR：通过下一尺度预测实现可扩展的图像生成》笔记
学无止境。
12-11 3139
自回归模型（Autoregressive Model, AR是一种通过序列中的过去值来预测当前值的统计模型。它通常用于时间序列分析、自然语言处理、计算机视觉等领域。在自回归模型中，当前的值依赖于先前时刻的值。自回归模型的核心思想是：给定一个序列，预测下一个值时仅依赖于当前和历史的值，而不依赖于其他外部信息。具体来说，对于一个序列，自回归模型通过条件概率的方式建模每个元素在序列中的生成过程：这里的表示在给定前个元素的条件下，预测第个元素的概率。
字节一面：说说var、let、const之间的区别
A_D_H_E_R_E的博客
09-16 1395
最近博主在**字节面试**中遇到这样一个面试题，这个问题也是前端面试的高频问题，作为一名前端开发工程师，熟练掌握js是我们的必备技能，var、let、const之间的区别我们也得熟练掌握，博主在这给大家细细道来。
NeurIPS 2024 最佳论文揭晓！北大、字节跳动「VAR模型」获最佳论文！
u012744245的博客
12-10 2480
在符合直觉的同时，这样的自回归算法带来了很好的效果：VAR 显著提升了自回归模型的速度和生成质量，在多方面使得自回归模型首次超越扩散模型。与传统的按像素或token顺序生成图像的方法不同，VAR 模型通过从低到高分辨的多尺度 token 图进行自回归生成，每一尺度的token图都依赖于前一尺度的结果。此外，在对 80B 个通用 token 进行持续预训练时，RHO-1 在 15 个不同任务上实现了 6.8% 的平均提升，数据效率和语言模型预训练的性能都得到了提升。
VAR：自回归家族文生图新SOTA，ImageNet上超越Diffusion与DiTs
孙佰贵的专栏
04-17 4004
本文提出了一种名为视觉自回归（VAR）建模的新范式，它通过将图像的自回归学习重新定义为“下一尺度预测”。VAR模型采用多尺度VQ-VAE来编码图像，并利用自回归Transformer来学习图像的分布。这种方法不仅提高了图像生成的质量，还显著加快了推理速度。VAR模型在ImageNet 256×256基准测试中的表现超越了现有的自回归和扩散模型，其FID和IS分别达到了1.80和356.4，同时推理速度提升了20倍。文章中甚至做了与DiTs相同量级参数的对比，指标上也有明显优势。
北大&字节联合发布视觉自动回归建模（VAR）：通过下一代预测生成可扩展的图像
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
04-18 1540
视觉自回归建模（VAR）是一种新的视觉生成范式，它将图像的自回归学习重新定义为从粗到细的“下一个尺度预测”或“下一个分辨率预测”，与标准光栅扫描“下一个令牌”不同预言”。这种简单、直观的方法允许自回归(AR)转换器快速学习视觉分布并很好地概括。
字节新作：图像生成质量超越DiT
林夕
04-05 1177
综合以上内容，VAR模型通过创新的“下一尺度预测”方法，在图像生成领域取得了突破性进展，不仅性能超越了现有的强模型，还展现了与大型语言模型相似的缩放定律和零样本泛化能力，为视觉生成和统一学习提供了新的视角和工具。主张：VAR模型通过重新定义图像自回归学习为从粗糙到精细的“下一尺度预测”，与传统的栅格扫描“下一标记预测”不同，这种方法简单直观，使自回归变换器能够快速学习视觉分布，并在图像生成方面首次超越了扩散变换器。🌟每日更新最新高质量论文，关注我，时刻关注最新大模型进展。
七月论文审稿GPT第2版：用一万多条paper-review数据微调LLaMA2 7B最终反超GPT4
热门推荐
结构之法 算法之道
11-02 1万+
如此前这篇文章《》中的第三部分所述，对于论文的摘要/总结、对话、翻译、语法检查而言，市面上的学术论文GPT的效果虽暂未有多好，可至少还过得去，而如果涉及到论文的修订/审稿，则市面上已有的学术论文GPT的效果则大打折扣。原因在哪呢？
Paper - VQVAE-2 多尺度分层结构的 VQ-VAE 模型
AGI
02-03 2043
VQ-VAE-2，即向量量化变分自编码器（VQ-VAE) 的第2版。VQ-VAE 利用离散的隐变量，来近似连续的潜在分布，有效地压缩图像信息，结合自回归的先验来重建或生成图像。VQ-VAE-2提出一种多尺度的分层结构的VQ-VAE模型，在不同的分辨率上对图像进行编码和解码，提高图像的一致性和保真度。同时，引入一种基于PixelCNN的强大的先验，可以在压缩的隐空间中对隐变量进行建模，从而增加了生成图像的多样性和质量。
VAR阅读笔记（Visual Autoregressive Modeling Scalable Image Generation via Next-Scale Prediction）
weixin_47628481的博客
01-10 1160
这篇文章提出了一种新的自回归模型框架——视觉自回归建模（VAR），其核心思想是通过粗到细的“下一个尺度预测”或“下一个分辨率预测”，与传统的自回归模型（通常是通过逐像素的光栅扫描方式进行“下一个标记预测”）有所不同。超越传统自回归模型，在不同数据集有性能提升。VAR模型在大规模扩展时表现出类似于大型语言模型（LLM）所观察到的幂律规律，且零样本泛化能力非常强，可以直接应用于下游任务，如图像修补、外推和编辑。扩展规律（Scaling Laws）和零-shot泛化。挑战自回归视觉模型的性能滞后。
VAR~~
whaosoft143ai的博客
04-13 146
跨尺度则是自回归的。作者表示，VAR 的自回归框架是全新的，而具体技术方面则吸收了 RQ-VAE 的残差 VAE、StyleGAN 与 DiT 的 AdaLN、PGGAN 的 progressive training 等一系列经典技术的长处。作者们希望 VAR 的思想、实验结论、开源，能够贡献社区探索自回归范式在图像生成领域的使用，并促进未来基于自回归的统一多模态算法的发展。在符合直觉的同时，这样的自回归算法带来了很好的效果：VAR 显著提升自回归模型的速度和生成质量，在多方面使得。whaosoft ai
vae unet
最新发布
03-24
<think>好的，用户现在想了解变分自编码器（VAE）和UNet的实现方法或比较。首先，我需要回顾一下这两个模型的基本结构和应用场景，确保自己理解正确，然后再整理如何向用户清晰地解释。 VAE是一种生成模型，主要用于学习数据的潜在分布，并生成新的数据样本。它的核心思想是通过编码器将输入数据映射到潜在空间的概率分布，然后从该分布中采样，再通过解码器将采样点重构为原始数据。VAE的关键在于引入了变分推断，优化的是证据下界（ELBO），这涉及到KL散度和重构损失。我需要解释VAE的结构，包括编码器、潜在空间和解码器，以及损失函数的组成。可能还需要提到重参数化技巧，这是解决梯度不可微问题的关键。 UNet则是一种常用于图像分割的卷积神经网络结构，具有对称的编码器-解码器结构，并且有跳跃连接来融合不同尺度的特征。UNet最初设计用于医学图像分割，但现在广泛应用于其他领域，如图像生成、去噪等。它的特点是在下采样过程中捕获上下文信息，然后在上采样过程中恢复空间信息，跳跃连接帮助保留细节。需要说明编码器如何逐步减少空间维度增加通道数，解码器如何逐步恢复，以及跳跃连接的作用。 接下来是两者的比较。应用场景方面，VAE用于生成新数据，比如图像生成、数据降维；UNet用于像素级预测任务，如分割、去噪。结构上，VAE通常使用全连接层或卷积层，但UNet是纯卷积网络，且有跳跃连接。训练目标方面，VAE优化ELBO，包含重构损失和KL散度；UNet通常用交叉熵或Dice损失。潜在空间方面，VAE有明确的潜在变量，而UNet没有这样的结构。 然后是实现方法。对于VAE，需要构建编码器和解码器，编码器输出均值和方差，采样使用重参数化，解码器重构输入。代码示例可能需要用PyTorch或TensorFlow。UNet的实现则涉及编码器模块、解码器模块以及跳跃连接，代码结构会更对称，可能使用卷积和转置卷积或者上采样加卷积。 用户可能还会关心两者的结合应用，比如在图像生成任务中使用VAE-UNet混合结构，或者比较它们的优缺点。需要确保回答覆盖了这些点，并且示例代码正确无误。同时，检查是否有相关的论文或资源可以引用，比如提到VAE的原始论文和UNet的医学图像分割论文，以及可能的结合模型，如VQ-VAE或扩散模型中的UNet结构。 最后，生成的相关问题需要引导用户深入思考，比如比较它们的优缺点，结合的可能性，性能差异的原因，以及在不同任务中的应用选择。这有助于用户进一步探索相关主题。</think>### 变分自编码器（VAE）与UNet架构解析 #### 1. **变分自编码器（VAE）** - **核心思想**：VAE是一种生成模型，通过编码器-解码器结构学习数据的潜在分布，并生成新样本。其目标是最小化输入数据与重构数据之间的差异，同时约束潜在空间服从标准正态分布[^1]。 - **结构**： - **编码器**：将输入数据映射为潜在空间的均值 $\mu$ 和方差 $\sigma^2$。 - **重参数化**：通过采样 $z = \mu + \epsilon \cdot \sigma$（$\epsilon \sim \mathcal{N}(0,1)$）解决梯度不可导问题。 - **解码器**：将潜在变量 $z$ 重构为原始数据。 - **损失函数**： $$ \mathcal{L} = \text{重构损失（如MSE）} + \beta \cdot \text{KL散度} $$ 其中 $\beta$ 用于平衡重构精度与潜在空间的正则化[^1]。 **PyTorch实现示例**： ```python import torch import torch.nn as nn class VAE(nn.Module): def __init__(self, input_dim, latent_dim): super(VAE, self).__init__() self.encoder = nn.Sequential( nn.Linear(input_dim, 512), nn.ReLU(), nn.Linear(512, latent_dim * 2) # 输出μ和log(σ²) ) self.decoder = nn.Sequential( nn.Linear(latent_dim, 512), nn.ReLU(), nn.Linear(512, input_dim), nn.Sigmoid() ) def reparameterize(self, mu, log_var): std = torch.exp(0.5 * log_var) eps = torch.randn_like(std) return mu + eps * std def forward(self, x): h = self.encoder(x) mu, log_var = torch.chunk(h, 2, dim=-1) z = self.reparameterize(mu, log_var) return self.decoder(z), mu, log_var ``` --- #### 2. **UNet架构** - **核心思想**：UNet最初用于医学图像分割，其对称的编码器-解码器结构通过跳跃连接保留多尺度空间信息。 - **结构特点**： - **编码器**：通过卷积和池化逐步压缩特征图尺寸。 - **解码器**：通过转置卷积或上采样恢复尺寸，并与编码器的跳跃连接特征融合。 - **跳跃连接**：直接传递编码器的高分辨率特征，解决信息丢失问题。 **PyTorch实现示例**： ```python class UNetBlock(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv = nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding=1), nn.ReLU(), nn.Conv2d(out_ch, out_ch, 3, padding=1), nn.ReLU() ) def forward(self, x): return self.conv(x) class UNet(nn.Module): def __init__(self): super(UNet, self).__init__() # 编码器 self.enc1 = UNetBlock(3, 64) self.enc2 = UNetBlock(64, 128) # 解码器 + 跳跃连接 self.dec1 = UNetBlock(128 + 64, 64) # 输入通道数为上层输出+跳跃连接通道 # 最终输出层 self.final = nn.Conv2d(64, 1, 1) def forward(self, x): # 编码过程 x1 = self.enc1(x) x2 = self.enc2(nn.MaxPool2d(2)(x1)) # 解码过程（含跳跃连接） x_up = nn.Upsample(scale_factor=2)(x2) x_cat = torch.cat([x_up, x1], dim=1) x_out = self.dec1(x_cat) return self.final(x_out) ``` --- #### 3. **VAE与UNet的对比** | 特性 | VAE | UNet | |---------------------|-------------------------|------------------------| | **主要任务** | 数据生成、降维 | 图像分割、像素级预测 | | **结构特点** | 潜在空间约束+解码器 | 跳跃连接+对称编解码 | | **损失函数** | ELBO（含KL散度） | 交叉熵/Dice损失 | | **输出类型** | 完整数据重构 | 像素级分类/回归 | | **典型应用** | 图像生成、异常检测 | 医学分割、图像增强 | --- #### 4. **结合应用场景** - **VAE-UNet混合模型**：在图像生成任务中，使用UNet作为VAE的解码器，增强细节生成能力。例如，在扩散模型中，UNet常用于噪声预测[^1]。 - **案例**：VQ-VAE（矢量量化VAE）通过离散潜在空间与UNet结合，显著提升生成图像的质量。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值