视觉自回归建模: 基于下一尺度预测的可扩展图像生成

最新推荐文章于 2025-03-08 09:30:00 发布
最新推荐文章于 2025-03-08 09:30:00 发布
阅读量1.5k 收藏 33
点赞数 15
文章标签： 回归 人工智能 AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l1498487239/article/details/138548338
版权

0. 资源链接

1. 背景动机

  • 类 GPT 的视觉自回归模型在标度律（Scaling Laws）等方面并未被充分探索，且其图像生成性能远远落后于扩散模型（DiT 等）

  • 作为序列的语言依赖关系是单向的，但是二维图像的依赖关系是沿两个维度方向的，直接把语言自回归模型直接用于图像忽略了这种性质

  • 人类的视觉感知过程通常是由全局到局部细节层次递进，而自回归建模需要定义数据顺序，这种感知尺度的次序天然地就定义了一种图像数据顺序的关系

2. 内容提要

  • VAR 提出新的图像生成范式：预测下一个尺度/分辨率，这与之前一般的光栅扫描式（从左到右、从上到下）的预测下一个 token 的逻辑不同

最低0.47元/天 解锁文章
AI-Seeker
关注
无需向量量化的自回归图像生成
AI浩
06-28 1818
传统观点认为，用于图像生成的自回归模型通常伴随着向量量化的标记。我们观察到，尽管离散值空间可以方便地表示分类分布，但它对于自回归建模来说并不是必需的。在这项工作中，我们提出使用扩散过程来建模每个标记的概率分布，这使得我们可以在连续值空间中应用自回归模型。我们定义了一个扩散损失函数来建模每个标记的概率，而不是使用分类交叉熵损失。这种方法消除了对离散值标记器的需求。我们在包括标准自回归模型和广义掩码自回归（MAR）变体在内的广泛案例中评估了其有效性。
EMA：基于跨空间学习的高效多尺度注意力模块
热门推荐
AI浩
06-23 2万+
在各种计算机视觉任务中，通道或空间注意力机制在产生更清晰的特征表示方面的显著有效性得到了证明。然而，通过通道降维来建模跨通道关系可能会给提取深度视觉表示带来副作用。提出了一种新的高效的多尺度注意力(EMA)模块。以保留每个通道上的信息和降低计算开销为目标，将部分通道重塑为批量维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组中均匀分布。具体来说，除了对全局信息进行编码以重新校准每个并行分支中的通道权重外，还通过跨维度交互进一步聚合两个并行分支的输出特征，以捕获像素级成对关系。
Visual Autoregressive Modeling:北大字节VAR获最佳论文、厦大清华获亚军，NeurIPS 2024
强化学习曾小健
12-05 1098
为了「解锁」自回归模型的能力和 Scaling Laws，研究团队从图像模态内在本质出发，模仿人类处理图像的逻辑顺序，提出一套全新的「视觉自回归」生成范式：VAR, Visual AutoRegressive Modeling，首次使得 GPT 风格的自回归视觉生成，在效果、速度、Scaling 能力多方面超越 Diffusion，迎来了视觉生成领域的 Scaling Laws。VAR 为如何定义图像的自回归顺序提供了一个全新的视角，即由粗到细、由全局轮廓到局部精调的顺序。
【生成模型之十四】Visual Autoregressive Modeling
Jeremy_lf的博客
02-08 871
论文：Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction。
Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction【小白读论文】
qq_46127363的博客
02-07 542
学习NIPS 2024 最佳论文 VAR
Visual Autoregressive Modeling: Scalable ImageGeneration via Next-Scale Prediction——视觉自回归建模
Together_CZ的博客
12-06 2340
Visual Autoregressive Modeling: Scalable ImageGeneration via Next-Scale Prediction 视觉自回归建模：通过下一步尺度预测实现可扩展的图像生成
论文阅读：Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
Matrix-11
12-15 2421
本文提出了视觉自回归建模（VAR），这是一种新的生成范式，它将图像上的自回归学习重新定义为从粗到细的 “下一级尺度预测” 或 “下一级分辨率预测”，有别于标准的光栅扫描 “下一个标记预测”。这种简单、直观的方法使自回归（AR）变换器能够快速学习视觉分布并能很好地泛化：VAR 首次让类似 GPT 风格的自回归模型在图像生成方面超越了扩散变换器。
【自回归视觉生成（VAR）】Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
Arachis_X的博客
04-10 3266
视觉自回归模型（VAR）将图像上的自回归学习重新定义为从粗到细的 "下一尺度预测 "或 “下一分辨率预测”，有别于标准的栅格扫描 “下一标记预测”。我们提出了**视觉自回归建模（VAR）**这一新一代范式，它将图像上的自回归学习重新定义为从粗到细的 "下一尺度预测 "或 “下一分辨率预测”，有别于标准的栅格扫描 “下一标记预测”。这种简单、直观的方法使自回归（AR）变换器能够快速学习视觉分布，并具有良好的泛化能力：VAR 首次使 AR 模型在图像生成方面超越了扩散变换器。
（2024，自回归，下一尺度预测，VQGAN）视觉自回归建模：通过下一尺度预测的可扩展的图像生成
qq_44681809的博客
04-14 2775
​视觉自回归建模是一种重新定义图像自回归学习的新范式​。它通过将生成策略从传统图像生成的 “下一个 token 预测” 转变为粗到细的 “下一尺度预测”，来重新构想对图像上的自回归建模​。
医图论文 Arxiv‘25 | MIAFEx: 一种基于注意力的医学图像分类特征提取方法
最新发布
小白学视觉
03-08 48
特征提取技术在医学图像分类中至关重要；然而，传统的特征提取器结合传统的机器学习分类器在提供复杂图像集的足够判别信息方面往往表现出显著的局限性。尽管卷积神经网络（CNN）和视觉Transformer（ViT）在特征提取方面显示出潜力，但由于医学图像数据的固有特性（如小样本量或高类内方差），它们容易过拟合。本文提出了医学图像注意力特征提取器（MIAFEx），这是一种新颖的方法，通过在Transformer编码器架构中引入可学习的精炼机制来增强分类标记（[CLS]标记）。
ViTDet原理与代码实例讲解：基于视觉transformer的目标检测模型
AI天才研究院
09-26 1448
solutionViTDet（Vision Transformer for Detection）是一种基于视觉transformer的目标检测模型，它将transformer架构应用于计算机视觉任务中的目标检测领域。传统的目标检测模型通常基于卷积神经网络（CNN），而ViTDet通过引入transformer的自注意力机制，旨在提高检测的准确性和灵活性。Transformer在自然语言处理领域的成功应用Vision Transformer (ViT) 在图像分类任务上的突破性进展。
《VAR：通过下一尺度预测实现可扩展的图像生成》笔记
学无止境。
12-11 2820
自回归模型（Autoregressive Model, AR是一种通过序列中的过去值来预测当前值的统计模型。它通常用于时间序列分析、自然语言处理、计算机视觉等领域。在自回归模型中，当前的值依赖于先前时刻的值。自回归模型的核心思想是：给定一个序列，预测下一个值时仅依赖于当前和历史的值，而不依赖于其他外部信息。具体来说，对于一个序列，自回归模型通过条件概率的方式建模每个元素在序列中的生成过程：这里的表示在给定前个元素的条件下，预测第个元素的概率。
超越扩散模型：VAR模型引领图像生成新纪元
博客之路,前途漫漫
12-26 1031
在图像生成领域，研究者们已经开发了多种类型的生成模型，每种都有其独特的优势和应用场景。这些模型可以大致分为三大类：变分自编码器（VAE）、扩散模型（Diffusion Models）以及最近提出的Visual AutoRegressive (VAR) 模型。下面将逐一介绍这三类模型的基本概念、特点及其在实际应用中的表现。VAR模型的核心思想是对自回归学习进行了重新定义，从传统的逐像素或逐块预测转向了“下一尺度预测”。这意味着模型不是简单地预测下一个像素或token，而是预测下一分辨率级别的图像内容。
VAR：超越扩散模型的新视觉生成方法
gitblog_00159的博客
08-13 776
VAR：超越扩散模型的新视觉生成方法 VAR[GPT beats diffusion????] [scaling laws in visual generation????] Official impl. of "Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction"项目地址:https://g...
字节新作：图像生成质量超越DiT
林夕
04-05 1137
综合以上内容，VAR模型通过创新的“下一尺度预测”方法，在图像生成领域取得了突破性进展，不仅性能超越了现有的强模型，还展现了与大型语言模型相似的缩放定律和零样本泛化能力，为视觉生成和统一学习提供了新的视角和工具。主张：VAR模型通过重新定义图像自回归学习为从粗糙到精细的“下一尺度预测”，与传统的栅格扫描“下一标记预测”不同，这种方法简单直观，使自回归变换器能够快速学习视觉分布，并在图像生成方面首次超越了扩散变换器。🌟每日更新最新高质量论文，关注我，时刻关注最新大模型进展。
Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
qq_42208244的博客
01-14 1205
提出了视觉自回归建模（VAR）[Visual AutoRegressive modeling]，这是一种新的生成范式，将图像上的自回归学习重新定义为由粗到细的“下一个尺度预测”或“下一个分辨率预测”，不同于标准的光栅扫描“下一个像素预测”。这种简单直观的方法允许自回归（AR）变压器快速学习视觉分布，并具有良好的泛化能力。VAR模型的扩展表现出类似于LLMs的明确幂律扩展规律，线性相关系数接近-0.998，作为坚实的证据。VAR还展示了在下游任务中的零样本泛化能力，包括图像修补、外扩和编辑。
【论文阅读笔记】VAR：Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
weixin_43357695的博客
12-12 1545
VAR,视觉自回归的大突破
VAR:Visual Autoregressive Modeling: Scalable ImageGeneration via Next-Scale Prediction 论文解读
NPU 研0
12-21 1132
该论文提出了一种新的生成范式VAR视觉自回归模型，这种自回归模型实现coarse to fine的方法进行生成，或者说是next-scale prediction的方式，从低分辨率逐渐生成到高分辨率图像，并且将逐层拼接在一起。而这种生成的模型采用的是类似于GPT-style的transformers方法。而VAR在ImgaNet上做基于class-conditioned的工作，最终超过了AR，Diifsuion，Mask，GAN等基础生成模型架构。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值