当自回归遇到Diffusion

已于 2024-08-17 12:41:38 修改
阅读量327 收藏 2
点赞数
分类专栏： AIGC 文章标签： AIGC 论文阅读 计算机视觉
于 2024-08-03 12:10:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pku_langzi/article/details/140888356
版权

文章目录


Autoregressive Image Generation without Vector Quantization

一. 简介

机构：MIT，DeepMind，清华
代码：https://github.com/LTH14/mar
任务: 自回归图像生成
特点: 自回归建模tokens之间的相互依赖 + Diffusion Loss建模每个token的分布，能够不被约束在向量量化（vector-quantized）的表示内，而在continuous-valued tokens框架下实现
方法: Diffusion Loss，MAR

1.1 摘要

BLIP model

常规观点认为，用于图像生成的自回

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Sora核心之一：当Diffusion遇到Transformer，DiT的前世今生
pku_langzi的博客
02-19 4442
Diffusion与Tranformer结合的代表性文章
【arxiv 2024】Latte: Latent Diffusion Transformer for Video Generation
zik的博客
07-29 649
Authors【Paper】【Project】这项工作提出了 Latte，一种简单且通用的视频扩散方法，它采用视频 Transformer 作为生成视频的骨干。为了提高生成的视频质量，确定了所提出模型的最佳实践，包括剪辑补丁嵌入、模型变体、时间步长类信息注入、时间位置嵌入和学习策略。综合实验表明，Latte 在四个标准视频生成基准测试中取得了最先进的结果。此外，与当前的 T2V 方法相比，还获得了可比的文本到视频结果。
自回归(AR)与扩散(Diffusion)的邂逅
weixin_42619619的博客
07-31 1251
虽然一种新的训练范式的成功与否离不开模型结构与算法的创新，当然除了在模型和方法的创新外，也需要更全局的洞察到真实世界中所映射的数据与认知模式的完整流形分布是否与上述“创新”是匹配的。未来，这一路径与未来RL的某种路径也许会更加创新性的耦合到一起，但技术上的挑战和理论上的复杂性可想而知，不过看到这篇论文中对技术方法的尝试以及理论的创新还是让人蛮兴奋的～感兴趣的大伙可以精读一下原论文，或者我们也可以随时随刻随地的探讨起来：)
AI技术解读 | 从GPT到Stable Diffusion，一文搞懂自回归与扩散模型的底层逻辑
weixin_44660484的博客
03-17 1896
近年来，人工智能生成内容（AIGC，Artificial Intelligence Generated Content）快速发展，其中“大模型”尤其是语言模型（如GPT-4、Gemini）以及文生图模型（如Stable Diffusion、DALL-E 3）表现尤为突出。：多应用于文本生成，例如GPT系列。：多应用于图像生成，例如Stable Diffusion。本文将详细介绍这两种模型的基本概念、经典方法、数学原理、训练与推理过程，并对比分析二者。内容兼顾科普和专业性。
论文解读：Autoregressive Image Generation without Vector Quantization
ZONGDAOFU的专栏
06-21 2807
3. 通用化的自回归框架：论文进一步将标准自回归模型和掩码生成模型统一到一个广义自回归框架下，展示了一种名为掩码自回归（Masked Autoregressive, MAR）的模型，它能够在随机顺序的同时预测多个输出token，保持了“基于已知预测下一个token”的自回归本质，且能无缝集成扩散损失。综上所述，这篇论文在图像生成领域提出了一个重要的创新，即通过在连续值域内直接建模自回归模型的token概率分布，有效绕过了向量量化的限制，为生成高质量图像提供了一个新的视角和方法论。
【论文讲解】何恺明老师2024新作：无需向量量化的自回归图像生成
F2ancisZ的博客
07-26 3946
何恺明老师的2024新文章，Autoregressive Image Generation without Vector Quantization，在图像生成领域引入了一种新的的自回归模型方法，不再依赖传统的向量量化。通过扩散损失的创新应用，该研究解决了离散token的限制，显著提升了图像生成的质量和速度。尽管存在计算复杂度和参数调节的挑战，这一方法在技术上具有开创性，对未来的模型改进和其他领域的应用具有深远的启发性意义。
文本生成图像工作简述4--扩散模型、自回归模型、生成对抗网络的对比调研
白洞，白色的明天在等着我们
02-02 1万+
各种各样的模型已经开发用于文本到图像的生成，模型主要可以分为三大类：扩散模型（Diffusion Model）、自回归模型（Autoregressive Model）、生成对抗网络模型（Generative Adversarial Networks），下面梳理一些近几年重要的模型并对比这三种方法的优劣
【扩散模型/图像匹配/图像拼接】论文精读：DiffMatch: Diffusion Model for Dense Matching
热门推荐
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-30 1万+
建立成对图像之间的密集对应关系的目标由两个术语组成：数据项和先验项。虽然传统的技术侧重于定义难以表述的手工设计的先验项，但最近的方法侧重于使用深度神经网络学习数据项，而无需显式建模先验，假设模型本身有能力从大规模数据集中学习最优先验。然而，性能改进很明显，它们通常无法解决匹配的固有歧义，例如无纹理区域、重复模式和大位移。为了解决这个问题，我们提出了 DiffMatch，这是一个新颖的基于条件扩散的框架，旨在显式建模数据和先验术语。与以前的方法不同，这是通过利用条件去噪扩散模型来实现的。DiffMatch由两
AIGC-舞蹈生成-Lodge: A Coarse to Fine Diffusion Network for Long Dance Generatio-CVPR2024
hflexxx的博客！喜欢的话点个关注！
07-16 1223
长序列舞蹈生成Lodge: A Coarse to Fine Diffusion Network for Long Dance Generation Guided by the Characteristic Dance Primitives
NeurIPS 2023 | MSRA、清华、复旦等联合提出AR-Diffusion：基于自回归扩散的文本生成...
Paper weekly
09-28 1488
扩散模型因其卓越的性能在图像生成领域引起了广泛关注。最近，它们的成功被扩展到文本生成，通过同时生成序列中的所有 token。然而，与图像相比，自然语言展现出更为明显的顺序依赖性，而现有大多数语言模型都是通过从左到右的自回归方法进行训练的。为了考虑自然语言固有的顺序特性，我们引入了自回归扩散（AR-DIFFUSION）。AR-DIFFUSION 确保右侧 token 的生成依赖于左侧生成的 toke...
生成模型概述
weixin_43186779的博客
03-23 4610
生成模型是深度学习领域的一类模型，它们的目标是学习如何生成数据的分布，从而能够生成新的、与真实数据类似的样本。以下是一些主要的生成模型：生成对抗网络（GANs）:GAN由两个部分组成：生成器（生成新数据）和判别器（区分真实数据和生成的数据）。这两部分在训练过程中相互竞争，提高彼此的性能。应用：图像生成、艺术创作、数据增强、风格迁移等。自回归模型（Autoregressive Models）:如Transformer在自然语言处理领域的应用。这些模型预测序列中的下一个元素，基于前面的元素。
何恺明新工作！加入MIT的首篇论文！打破自回归图像生成瓶颈，奥赛金牌得主参与！...
阿木寺的博客
06-25 610
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研，强烈推荐！转载自：夕小瑶科技说 作者：21#近日，深度学习领域的杰出研究者何恺明及其团队又放了个大招，...
江大白 | 何凯明入职 MIT，首次带队提出Diffusion Loss，扩散模型思想提升生成速度和效果 ！
csdn_xmj的博客
06-30 1780
在图像生成领域中，作者观察到并不是自回归建模的必要条件，并提出通过在连续值域上，操作的扩散过程来对每个标记的概率分布，进行建模。改进后的图像生成器在生成速度与效果上，都取得了巨大的提升。传统观点认为，用于通常伴随着向量量化标记。作者观察到，尽管离散值空间可以促进表示分类分布，但这并非自回归建模的必要条件。在这项工作中，作者提出使用扩散过程来建模每个标记的概率分布，这使得作者能够在连续值空间中应用自回归模型。
Autoregressive Image Generation without Vector Quantization 代码讲解
weixin_45720528的博客
10-31 899
这里附上原始的DDPM讲解的链接，这篇文章是关于对《Autoregressive Image Generation without Vector Quantization》的关于diffusion loss 的讲解，简而言之就是讲明白下面这幅图究竟做了什么,或者说可以参看下面原始论文给出的伪代码。至于mae部分的讲解我会另开一篇博客的，还有就是原始的ddpm和这里的区别。
论文阅读 [CVPR-2022] Autoregressive Image Generation using Residual Quantization
weixin_42155685的博客
04-03 1379
论文阅读 [CVPR-2022] Autoregressive Image Generation using Residual Quantization studyai.com 搜索论文: [Autoregressive Image Generation using Residual Quantization](http://www.studyai.com/search/whole-site/?q=Autoregressive Image+Generation+using+Residual+Quantiza
探讨自回归模型和扩散模型的发展应用
DeepAIedu的博客
04-24 2198
为提高模型效率，研究者提出了多种快速采样算法，如DDIM（离散扩散模型）和ADM（加速扩散模型），这些方法能够在保证生成质量的前提下，显著减少反向扩散所需的步骤数，从而大幅缩短生成时间。此外，还出现了如半扩散模型这样的新型架构，它结合了扩散模型与传统生成模型的优点，能够在更低的计算成本下生成高质量样本。例如，在音乐创作场景中，一个混合模型可以先根据用户提供的旋律片段或风格标签进行自回归式的后续旋律生成，再通过扩散过程优化生成音乐的质量和细节，确保生成的乐曲既符合用户预期又具有专业级音质。
（2022|CVPR，RQ-VAE，RQ-Transformer）使用残差量化的自回归图像生成
qq_44681809的博客
01-10 7550
本文提出 RQ-VAE 和 RQ-T。在固定的码书大小下，RQ-VAE 可以精确地逼近图像的特征图，并将图像表示为离散编码的堆叠图。然后，通过预测下一个编码堆栈，RQ-T 学习预测下一个位置的量化特征向量。
VAR：自回归家族文生图新SOTA，ImageNet上超越Diffusion与DiTs
孙佰贵的专栏
04-17 3985
本文提出了一种名为视觉自回归（VAR）建模的新范式，它通过将图像的自回归学习重新定义为“下一尺度预测”。VAR模型采用多尺度VQ-VAE来编码图像，并利用自回归Transformer来学习图像的分布。这种方法不仅提高了图像生成的质量，还显著加快了推理速度。VAR模型在ImageNet 256×256基准测试中的表现超越了现有的自回归和扩散模型，其FID和IS分别达到了1.80和356.4，同时推理速度提升了20倍。文章中甚至做了与DiTs相同量级参数的对比，指标上也有明显优势。
生成式人工智能
最新发布
03-21
<think>好的，我现在需要处理用户关于生成式人工智能的查询。用户想了解其工作原理、应用和技术实现。首先，我要确保回答符合系统级指令的要求，比如使用正确的中文格式、LaTeX排版，以及生成相关问题。 首先，我需要回顾用户提供的引用内容，确保引用正确。引用[1]提到生成式AI的工作原理，引用[2]说明它是AI的子领域，引用[3]和[5]涉及应用案例，引用[4]讨论技术实现。这些内容需要整合到回答中。 接下来，按照用户的要求，回答结构要清晰，分步骤解释。首先定义生成式AI，然后工作原理，应用，技术实现。每个部分都需要引用对应的文献。例如，工作原理部分引用[1]和[2]，应用部分引用[3]和[5]，技术实现引用[4]。 关于LaTeX的使用，注意行内公式用$...$，独立公式用$$...$$。例如，在解释Transformer模型时，可能需要提到自注意力机制，用公式表示如$Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V$，但用户提供的引用中没有具体公式，所以可能不需要太多数学表达式，但需确保正确。 生成相关问题部分，需要围绕工作原理、应用、技术实现展开，比如技术挑战、伦理问题、与传统AI的区别等，确保问题相关且有深度。 最后，检查所有引用是否自然添加，如[^1]、[^2]等，确保没有遗漏。同时，回答要使用中文，结构清晰，避免使用Markdown，保持口语化但专业。 可能遇到的问题：用户提供的引用是否有足够的技术细节？比如技术实现部分，引用[4]提到机器学习算法和深度学习框架，可能需要进一步解释这些技术如何应用在生成式AI中，如使用GAN、Transformer等模型。但根据引用内容，可能需要保持简洁，引用已有的信息。 总结回答结构： 1. 定义生成式AI（引用[2]） 2. 工作原理（引用[1][2]） 3. 应用场景（引用[3][5]） 4. 技术实现（引用[4]） 5. 相关问题 检查是否每个部分都有对应的引用，并自然融入回答中。同时确保LaTeX格式正确，例如变量用$符号包裹，独立公式单独成段，但根据引用内容可能较少涉及数学公式，所以可能主要使用行内公式。 现在开始撰写回答，确保各部分连贯，引用正确，问题相关。</think>### 生成式人工智能解析 #### 一、定义与核心概念 生成式人工智能是人工智能的子领域，专注于通过机器学习技术生成新的数据（如文本、图像、音频等）。其核心在于“创造”，而非传统AI的“分类”或“预测”[^2]。 #### 二、工作原理 1. **数据学习与模式提取** 生成式AI模型（如GPT、Stable Diffusion）通过海量数据训练，学习数据的内在分布规律。例如，语言模型通过分析文本序列的统计特征，捕捉词汇间的关联性。 2. **生成机制** - **自回归模型**：逐次生成内容（如GPT通过预测下一个词生成文本）。 - **对抗生成网络（GAN）**：生成器与判别器对抗优化，提升生成质量。 - **扩散模型**：通过逐步去噪过程合成高分辨率图像。 3. **数学基础** 模型通常基于概率分布建模，如语言模型的目标函数可表示为： $$P(w_1, w_2, ..., w_n) = \prod_{i=1}^{n} P(w_i | w_1, ..., w_{i-1})$$ #### 三、应用场景 1. **内容创作** - 自动生成营销文案、设计草图（如Canva的AI设计工具）[^3]。 - 个性化教育内容生成，如根据学生能力动态调整练习题难度[^5]。 2. **工业与科研** - 药物分子结构生成（如Insilico Medicine的AI药物发现）。 - 代码生成（GitHub Copilot基于GPT技术）[^4]。 3. **交互体验** - 虚拟客服对话生成（如ChatGPT驱动的客服系统）。 - 游戏NPC行为动态生成。 #### 四、技术实现 1. **核心算法** - **Transformer架构**：通过自注意力机制（$Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V$）处理长序列依赖。 - **强化学习微调**：使用人类反馈优化生成结果（RLHF）。 2. **开发要点** - 需掌握PyTorch/TensorFlow等框架实现模型训练。 - 数据预处理技术（如Tokenization、数据增强）。 3. **计算资源** 典型训练需GPU集群，例如训练175B参数的GPT-3需数千张V100显卡。 #### 五、挑战与趋势 - **伦理问题**：生成内容的版权归属与虚假信息风险。 - **技术瓶颈**：长文本逻辑一致性、三维内容生成精度。 - **轻量化部署**：模型压缩技术（如量化、蒸馏）的研究。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猴猴猪猪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值