视觉自回归建模: 基于下一尺度预测的可扩展图像生成

最新推荐文章于 2025-02-08 21:15:04 发布
最新推荐文章于 2025-02-08 21:15:04 发布
阅读量1.6k 收藏 33
点赞数 15
文章标签： 回归 人工智能 AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l1498487239/article/details/138548338
版权

0. 资源链接

1. 背景动机

  • 类 GPT 的视觉自回归模型在标度律（Scaling Laws）等方面并未被充分探索，且其图像生成性能远远落后于扩散模型（DiT 等）

  • 作为序列的语言依赖关系是单向的，但是二维图像的依赖关系是沿两个维度方向的，直接把语言自回归模型直接用于图像忽略了这种性质

  • 人类的视觉感知过程通常是由全局到局部细节层次递进，而自回归建模需要定义数据顺序，这种感知尺度的次序天然地就定义了一种图像数据顺序的关系

2. 内容提要

  • VAR 提出新的图像生成范式：预测下一个尺度/分辨率，这与之前一般的光栅扫描式（从左到右、从上到下）的预测下一个 token 的逻辑不同

最低0.47元/天 解锁文章
AI-Seeker
关注
从文本到图像：视觉自回归建模的新时代
步子哥的博客
12-05 111
自回归建模的核心思想是通过预测序列中的下一个元素来学习数据分布。在语言模型中，这种方法非常直观：给定一段文本，模型逐字逐句地预测下一个单词，从而生成连贯的句子。然而，当我们试图将这种方法应用到图像生成时，问题变得复杂了。
无需向量量化的自回归图像生成
AI浩
06-28 1841
传统观点认为，用于图像生成的自回归模型通常伴随着向量量化的标记。我们观察到，尽管离散值空间可以方便地表示分类分布，但它对于自回归建模来说并不是必需的。在这项工作中，我们提出使用扩散过程来建模每个标记的概率分布，这使得我们可以在连续值空间中应用自回归模型。我们定义了一个扩散损失函数来建模每个标记的概率，而不是使用分类交叉熵损失。这种方法消除了对离散值标记器的需求。我们在包括标准自回归模型和广义掩码自回归（MAR）变体在内的广泛案例中评估了其有效性。
【生成模型之十四】Visual Autoregressive Modeling
最新发布
Jeremy_lf的博客
02-08 906
论文：Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction。
Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction【小白读论文】
qq_46127363的博客
02-07 577
学习NIPS 2024 最佳论文 VAR
Visual Autoregressive Modeling: Scalable ImageGeneration via Next-Scale Prediction——视觉自回归建模
Together_CZ的博客
12-06 2450
Visual Autoregressive Modeling: Scalable ImageGeneration via Next-Scale Prediction 视觉自回归建模：通过下一步尺度预测实现可扩展的图像生成
论文阅读：Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
Matrix-11
12-15 2869
本文提出了视觉自回归建模（VAR），这是一种新的生成范式，它将图像上的自回归学习重新定义为从粗到细的 “下一级尺度预测” 或 “下一级分辨率预测”，有别于标准的光栅扫描 “下一个标记预测”。这种简单、直观的方法使自回归（AR）变换器能够快速学习视觉分布并能很好地泛化：VAR 首次让类似 GPT 风格的自回归模型在图像生成方面超越了扩散变换器。
【自回归视觉生成（VAR）】Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
Arachis_X的博客
04-10 3332
视觉自回归模型（VAR）将图像上的自回归学习重新定义为从粗到细的 "下一尺度预测 "或 “下一分辨率预测”，有别于标准的栅格扫描 “下一标记预测”。我们提出了**视觉自回归建模（VAR）**这一新一代范式，它将图像上的自回归学习重新定义为从粗到细的 "下一尺度预测 "或 “下一分辨率预测”，有别于标准的栅格扫描 “下一标记预测”。这种简单、直观的方法使自回归（AR）变换器能够快速学习视觉分布，并具有良好的泛化能力：VAR 首次使 AR 模型在图像生成方面超越了扩散变换器。
视觉全能！自回归要反超扩散？Lumina-mGPT:任意分辨率丝滑逼真图像生成（上海AI Lab）
AIGCer的博客
08-07 1080
文章链接：https://arxiv.org/pdf/2408.02657git链接：https://github.com/Alpha-VLLM/Lumina-mGPT通过多模态生成预训练的自回归Transformer，而不是从头训练，可以作为逼真的文本到图像生成和视觉与语言任务统一的有效初始化。基于mGPTs，引入了两种新的微调策略，FP-SFT和Omni-SFT，以在从弱到强的范式中充分释放它们的潜力，仅使用1000万高质量的文本-图像数据。
EMA：基于跨空间学习的高效多尺度注意力模块
热门推荐
AI浩
06-23 2万+
在各种计算机视觉任务中，通道或空间注意力机制在产生更清晰的特征表示方面的显著有效性得到了证明。然而，通过通道降维来建模跨通道关系可能会给提取深度视觉表示带来副作用。提出了一种新的高效的多尺度注意力(EMA)模块。以保留每个通道上的信息和降低计算开销为目标，将部分通道重塑为批量维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组中均匀分布。具体来说，除了对全局信息进行编码以重新校准每个并行分支中的通道权重外，还通过跨维度交互进一步聚合两个并行分支的输出特征，以捕获像素级成对关系。
（2024，自回归，下一尺度预测，VQGAN）视觉自回归建模：通过下一尺度预测的可扩展的图像生成
qq_44681809的博客
04-14 2838
​视觉自回归建模是一种重新定义图像自回归学习的新范式​。它通过将生成策略从传统图像生成的 “下一个 token 预测” 转变为粗到细的 “下一尺度预测”，来重新构想对图像上的自回归建模​。
《VAR：通过下一尺度预测实现可扩展的图像生成》笔记
学无止境。
12-11 2949
自回归模型（Autoregressive Model, AR是一种通过序列中的过去值来预测当前值的统计模型。它通常用于时间序列分析、自然语言处理、计算机视觉等领域。在自回归模型中，当前的值依赖于先前时刻的值。自回归模型的核心思想是：给定一个序列，预测下一个值时仅依赖于当前和历史的值，而不依赖于其他外部信息。具体来说，对于一个序列，自回归模型通过条件概率的方式建模每个元素在序列中的生成过程：这里的表示在给定前个元素的条件下，预测第个元素的概率。
超越扩散模型：VAR模型引领图像生成新纪元
博客之路,前途漫漫
12-26 1100
在图像生成领域，研究者们已经开发了多种类型的生成模型，每种都有其独特的优势和应用场景。这些模型可以大致分为三大类：变分自编码器（VAE）、扩散模型（Diffusion Models）以及最近提出的Visual AutoRegressive (VAR) 模型。下面将逐一介绍这三类模型的基本概念、特点及其在实际应用中的表现。VAR模型的核心思想是对自回归学习进行了重新定义，从传统的逐像素或逐块预测转向了“下一尺度预测”。这意味着模型不是简单地预测下一个像素或token，而是预测下一分辨率级别的图像内容。
VAR：超越扩散模型的新视觉生成方法
gitblog_00159的博客
08-13 791
VAR：超越扩散模型的新视觉生成方法 VAR[GPT beats diffusion????] [scaling laws in visual generation????] Official impl. of "Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction"项目地址:https://g...
字节新作：图像生成质量超越DiT
林夕
04-05 1158
综合以上内容，VAR模型通过创新的“下一尺度预测”方法，在图像生成领域取得了突破性进展，不仅性能超越了现有的强模型，还展现了与大型语言模型相似的缩放定律和零样本泛化能力，为视觉生成和统一学习提供了新的视角和工具。主张：VAR模型通过重新定义图像自回归学习为从粗糙到精细的“下一尺度预测”，与传统的栅格扫描“下一标记预测”不同，这种方法简单直观，使自回归变换器能够快速学习视觉分布，并在图像生成方面首次超越了扩散变换器。🌟每日更新最新高质量论文，关注我，时刻关注最新大模型进展。
Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
qq_42208244的博客
01-14 1361
提出了视觉自回归建模（VAR）[Visual AutoRegressive modeling]，这是一种新的生成范式，将图像上的自回归学习重新定义为由粗到细的“下一个尺度预测”或“下一个分辨率预测”，不同于标准的光栅扫描“下一个像素预测”。这种简单直观的方法允许自回归（AR）变压器快速学习视觉分布，并具有良好的泛化能力。VAR模型的扩展表现出类似于LLMs的明确幂律扩展规律，线性相关系数接近-0.998，作为坚实的证据。VAR还展示了在下游任务中的零样本泛化能力，包括图像修补、外扩和编辑。
【论文阅读笔记】VAR：Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
weixin_43357695的博客
12-12 1705
VAR,视觉自回归的大突破
VAR:Visual Autoregressive Modeling: Scalable ImageGeneration via Next-Scale Prediction 论文解读
NPU 研0
12-21 1181
该论文提出了一种新的生成范式VAR视觉自回归模型，这种自回归模型实现coarse to fine的方法进行生成，或者说是next-scale prediction的方式，从低分辨率逐渐生成到高分辨率图像，并且将逐层拼接在一起。而这种生成的模型采用的是类似于GPT-style的transformers方法。而VAR在ImgaNet上做基于class-conditioned的工作，最终超过了AR，Diifsuion，Mask，GAN等基础生成模型架构。
VQ-VAE学习笔记
m0_46690805的博客
03-19 1117
VQ-VAE（Vector Quantized-Variational Autoencoder）中的损失函数在模型的训练过程中发挥着至关重要的作用。它们被用于指导模型学习如何有效地将输入数据编码为离散的潜在表示，并能够从这些表示中重构出原始数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值