AIGC总结

已于 2024-03-01 13:14:36 修改
阅读量462 收藏 4
点赞数 1
文章标签： stable diffusion
于 2024-02-18 15:37:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jeffrey_0711/article/details/136152662
版权

AIGC

在这里插入图片描述

AE

在这里插入图片描述

无监督学习方法：encoder将原始的高维数据映射到低维特征空间；decoder基于压缩后的低维特征来重建原始数据
AE很容易过拟合、无泛化能力只能根据高维特征空间的一个坐标点生成

VAE

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/cde19516140b49f9b3b10f7fb06fd347.p

  1. 将每个样本映射为一个分布，从分布上去取点，增强模型泛化能力,同时能增加采样的多样性；
  2. 同时假设输出的特征分布是一个正态分布
  3. VAE在训练的时候，还要求中间的正态分布都向标准正态分布靠拢，这样也就防止了方差变成0。

dVAE:将输入x做一定程度的扰动，最后优化目标一样，效果很好；证明了图像信息的冗余

GAN

在这里插入图片描述

DNN网络使用MSE计算LOSS会使得图片失去随机性，引入一个DNN来判断是否是真实的还是生成的

模型结构

生成器和判别器：交替训练
生成器损失函数:在这里插入图片描述
判别器损失函数：
在这里插入图片描述

SAM(Segment Anything Model)

提出了一个基于提示的分割任务；可被看作CV界的基础模型
在这里插入图片描述
在这里插入图片描述

模型：

  1. 密集提示(Mask)利用卷积层来注入知识，稀疏提示(点（用户可以通过点击实现交互）、bbox(可以画一个box给提示)和text信息)利用prompt encoder来注入知识
  2. Image encoder使用的是MAE的ViT,decoder非常轻量级
  3. 数据标注->喂给模型训练->使用模型标注->循环

DDPM

Time embedding让模型知道现在到了反向扩散的哪一步，可以在初始扩散步骤的时候预测出轮廓，最后几步预测出边边角角

方法：

  1. 前向扩散过程是一个逐步加噪过程：
    方差为固定值 β \beta β ，均值则由 β t \beta_t βt​和 x t − 1 x_{t-1} xt−1​共同决定
    在这里插入图片描述
    因此只要确定任意时刻的 β \beta β就能够由x_0 chain rule推出任意时刻的x_t(马尔可夫过程)
  • 随着t增大不断接近一张完全的噪声图
  • 一般t增大 β t \beta_t βt​的值也会逐渐增大

2. 逆扩散去噪过程

如果能够从q( x t − 1 ∣ x t x_{t-1}|x_t xt−1​∣xt​)中采样就可以实现重建，但是由于无法从完整数据集中找到数据分布，因此需要学习一个模型 p 0 p_0 p0​来近似这个分布
在这里插入图片描述
3. 加入time embedding让模型知道当前是在什么阶段，开始的时候可能生成轮廓，后面学习道物体的细小特征

总结

在这里插入图片描述

主要贡献

  1. 反向扩散过程提出去预测噪声而不是去预测 x t − 1 x_{t-1} xt−1​
  2. 学习一个正太分布只需要去学习均值和方差，进一步实验表明只需要学习均值效果就足够好

Diffusion model beats GAN

参考文献

classifier guidance:训练一个分类器作为生成模型的条件

RQ

  1. 现有的衡量指标例如FID\IS\Precision不能衡量生成多样性，GAN多样性不好

  2. 扩散模型虽然易于扩展、多样性好，但图片质量仍然不如GAN

Related work

  1. 训练目标是缩小真实噪音和训练噪音之间的均方误差

  2. DDPM中高斯分布的方差可以学习也可以固定，学的话效果更好

  3. DDIM将噪声设置为0，采样步骤更少

Method

  1. 优化Unet架构：加深模型、加宽维度、加多注意力头数

2.在噪声图像上训练分类器，利用分类器分数和目标之间的交叉熵损失计算梯度，利用梯度来引导下一步的生成采样
在这里插入图片描述

缺点

  1. 需要训练噪声数据版本的classifier网络
  2. 推理时每一步都需要额外计算classifier的梯度。

More Control for Free! Image Synthesis with Semantic Diffusion Guidance（语义引导方式）

  1. Guided Diffusion
    基于类别的扩散模型，基于DDPM模型，在逆向过程中，加入分类器，对采样生成图片进行分类，然后计算交叉熵损失梯度，通过梯度向下传导，来控制采样方向与类别相关；

那么既然可以用类别来引导图像生成，同样也可以用文本语义和图像语义来引导。
2. Semantic Guidence Diffusion
扩散模型通过类别引导类似于图片优化问题，所以类似的提出了使用语义引导，即文本语义和图片语义进行引导。
3. 文本语义引导：这里主要使用CLIP来计算文本和采样生成图片相似度损失梯度，进行引导采样图片生成
4. 图片语义引导：希望生成与引导图片类似的图片，这里可以分为图片内容引导，即使用CLIP图片特征进行计算相似度，图片结构引导，使用encoder的空间特征分布，*图片风格引导，*基于Gram矩阵进行计算损失。
5. 混合引导 ：通过将上述引导函数以一定比例加起来，可以基于多种条件进行生成。

GLIDE

RQ

使用了CLIP guidance和Classifier-free guidance方法发现后者在逼真度和对caption的相似性上更像

Method

除了进行文生图之外还可以进行进行图像编辑；

  1. 结构上：将text用trans编码替换ADM模型的class embed；最后一层trans embed被投影到了ADM模型的注意力层并且concat起来；
  2. 用了Classfier-free的方法
  3. “Noised CLIP models” (Nichol 等, 2022, p. 6) (pdf) “：输入噪音图像给CLIP但训练目标还是之前一样

DALL·E

classifier-free guidance

研究问题

数据量是限制模型能力得主要原因，而不是模型结构和loss设计
在这里插入图片描述

方法

  1. 首先训练一个dVAE来将RGB图像压缩成image token

  2. 将BPE编码的文本token与图像token（flatten）拼接起来训练一个自回归Trans

    • BPE:字节对编码，一种子词算法。Subword 算法；每次将出现频率最高的字符进行合并加入到词表中，不断重复这个步骤；直到最大频率为1或者达到词表上界；

  3. 整体训练目标是最大化ELBO证据下界：

    • 想要求p(z|x)利用贝叶斯公式展开后难以计算分母的积分

    • 利用变分推理的思想：利用一个更简单的分布q(z)来近似p(z|x)，利用KL散度来刻画两个分布的差异，优化目标就是最小化KL散度；

    • 然而D中仍然有后验概率分布，没办法计算

    • ELBO：证据下界，最大化ELBO等价于最小化KL散度，因为左边是一个常数

      • logp(z,x)与logq(z)比较容易计算，因此最大化他们（证据下界）即最小化KL

  4. 由于ELBO的参数q_phi（dVAE encoder），是一个离散的分布难以使用梯度优化：这里用gumbal softmax来优化

DALL·E 2

研究问题

使用CLIP的鲁棒表征能力来捕获图像的语义和风格，进而基于文本产生图像

比GLIDE、GAN的图像更多样化，GAN虽然逼真但是多样性不太好

在这里插入图片描述

方法

层级式的生成图片，从低分辨率到高分辨率生成图像；

两阶段图像生成器，先生成图像特征再生成图像

推理过程

  1. 首先CLIP的文本embedding通过一个自回归或者diffusion prior产生图像embedding

  2. 这个图像embedding通过一个diffusuion decoder产生最终的图像

模块详解

CLIP+GLIDE

  1. Decoder：使用了CLIP guidance和classifier-free guidance；纯CNN结构

  2. prior：

    1. 自回归模型：把图像特征遮住，GPT式的预测

    2. Diffusion模型：classifier-free guidance，没有像之前的模型一样去预测噪声然后相减，而是直接去重建特征；

训练过程

  1. 首先训练CLIP模型，这里用了一半CLIP的训练数据，用了一半DALLE的训练数据

  2. 使用CLIP img embedding来监督文本端经过prior生成的图像特征

缺陷

  1. 生成文字做的不好

  2. 细节缺失

  3. 不能读懂上下关系

DALLE 3

RQ

  1. 当前很多模型缺乏prompt-following能力，不能够生成与prompt细节一致的图像；

  2. 网络爬取的caption经常不正确，缺乏对图像的细节描述

数据

使用image captioner来合成图像的caption，提升文本质量，提高模型prompt-following的能力

  1. 文生图扩散模型容易过拟合数据集，如果文本总以空格开头，若没有空格则生成不了正确图像

  2. 因此采用混合合成caption和gt caption的方式引入正则化(GT是人类标注的有多样性)

Captioner

  1. 预训练CLIP

  2. 利用text和clip embedding采用语言建模损失训练一个LLM->还是会出现不描述细节的问题

  3. 在一个短文本描述数据集上微调的一个产生短文本的model；同理再长文本数据集上微调

模型评估

CLIP Score：利用CLIP编码合成的图像，和text计算相似性分数，然后对所有样本取平均

GPT4 V自动评估：将caption和产生的图像一起送给GPT让他给出答案正确或错误

“T2I-CompBench” :使用人工评估风格，形状颜色等

Detail

使用GT和95%的详细描述合成caption来训练

Stable Diffusion

重要贡献：在隐空间进行扩散，降低显存占用和计算复杂性

大致步骤：

  1. 数据集中选择一张图像
  2. 从K种噪音中随机产生噪音
  3. 将噪音逐步加在图像上，直到图像成为纯噪声
  4. 噪声图像输入U-net预测所加噪声，利用Scheduler逐步去噪（每次输入Unet中还有时序embedding使得网络知道当前时间步）
  5. 计算L2损失，反向传播更新参数
    在这里插入图片描述

结构

  1. Text encoder：用CLIP抽取文本特征，用来控制图片的生成
    • Unet添加文本信息：在原来残差块之间添加交叉注意力层，将CLIP文本特征加入来关注到文本信息隐变量
  2. Image Creater:用Unet当作Image creater逐步处理/扩散隐空间中的信息;输入由文本向量和噪声组成多维数组；
    图中可以看到输入Image Creater前解码出来是乱码，输入Creater之后解码出来则是清晰图像
  3. Image Decoder：AE的解码器
    在这里插入图片描述
    在这里插入图片描述

LoRA

一言以蔽之：大模型基础上额外增加一些训练层，在冻住大模型的基础上，训练lora模型。

在Stable Diffusion微调的情况下，LoRA可以应用于与描述它们的提示相关的图像表示之间的交叉注意力层

  1. 训练速度更快
  2. 计算需求更低
  3. 训练权重更小，因为原始模型被冻结，我们注入新的可训练层，比UNet模型的原始大小小了近一千倍。

ControlNet

可以控制图片的构图、而LoRA是控制图片的风格；本质上还是文生图模型

RQ

虽然Stable Diffusion生成的图片质量远超以往的GAN，VAE等，但还达不到精细化可控生成的目的

作用

ControlNet提供了包括canny边缘，语义分割图，关键点,涂鸦在内的多种输入条件，拓展了SD的能力边界

模型思想

  1. 将SD模型拷贝两个副本，分别是固定权重，以及一个可训练副本；
  2. 用这种copy方式的动机是为了避免在数据集较小时过度拟合，并保持从数十亿图像中学习的大型模型的生产就绪质量。ControlNet的可视化结构如下图所示：
    在这里插入图片描述
Jeffrey-zh
关注
【SDG代码精读】More Control for Free! Image Synthesis with Semantic Diffusion Guidance【SDG】
zik的博客
04-08 1339
这篇博客主要是分析SDG的代码，只是在其开源的代码上面加了详细且丰富的注释，帮助阅读和理解。
【SDG精读与代码复现】More Control for Free Image Synthesis with Semantic Diffusion Guidance【SDG】
zik的博客
03-28 2022
文章核心思想：多模态的引导扩散模型进行采样。直接用训练好的非条件的扩散模型，无需重复训练。文字guided是用一个微调的CLIP模型，数据集无需文本注释。数据集是FFHQ和LSUN在这篇文章介绍了。本文主要分为三个模块：第一个是论文介绍模块，以更通俗易懂的方式帮助大家理解论文。第二个是复现模块，代码的复现引导。第三个是复现过程的代码解决方案模块，复现过程遇到有bug的可以看看。
More Control for Free! Image Synthesis with Semantic Diffusion Guidance（SDG）
Drug discovery
09-10 2008
More Control for Free! Image Synthesis with Semantic Diffusion Guidance
浅析扩散模型与图像生成【应用篇】(十五)——SDG
深视
04-02 718
该文提出一种基于语义引导扩散模型的的图像生成算法，SDG，可使用文本或图像作为引导来指引图像的生成，也可以二者同时使用，实现多模态的引导。增加引导信息无需对扩散模型进行微调训练，可以直接作用在生成阶段。相对于现有的文本引导图像生成方法StyleCLIP或图像引导生成方法ILVR，SDG不仅能够适应更多模态的输入，且生成样本也具备更大的多样性。
扩散模型+CV与NLP科研笔记专栏文章汇总：【Diffusion Models】
zik的博客
04-04 5086
CLIP是一个多模态的大模型，用了4亿个（图像、文本）对进行对比学习，学习之后可以直接进行zero-shot推理，并且不需要像ImageNet那样标注1000个类，而是可以人为给出文本提示，进行图片和文本之间的相似度计算，而且迁移效果很好。那么基于此，提出了Classifier-Free Diffusion Guidance，后续非常多的工作都是基于其来进行的，例如DALL·E 2、Imagen等吸引人眼球的模型基本上都是以它为基础做的。直接用训练好的非条件的扩散模型，无需重复训练。
ChatGPT AIGC 总结Vlookup的20种不同用法
sunzhuan158的博客
09-29 338
使用VLOOKUP进行双重条件查找：=IF(VLOOKUP("John", A2:C5, 2, FALSE)="Department1", VLOOKUP("John", A2:C5, 3, FALSE), "N/A")。使用VLOOKUP查找并替换数据：=IF(VLOOKUP(A2, A2:B5, 2, FALSE)="OldValue", "NewValue", VLOOKUP(A2, A2:B5, 2, FALSE))。在A2:B5范围中查找"John"，返回与"John"在同一行的第2列的值。
ChatGPT AIGC总结Excel中Vlookup，lookup，xlookup的区别
sunzhuan158的博客
09-11 767
公众号：BI智能数据分析
用AIGC生成大数据教程
笔者从事电信媒体开发多年，愿意将多年的开发经验分享给同行
08-09 1205
文章详细展示了aigc创作大数据教程的全过程，欢迎点赞收藏。这是对我最大的鼓励，谢谢
AIGC实战——生成模型简介
热门推荐
盼小辉丶的博客
08-29 8万+
生成式人工智能是一种人工智能方法，旨在通过学习训练数据的分布模型来生成新的、原创的数据。人工智能生成内容 (Artificial Intelligence Generated Content, AIGC) 是生成式人工智能的一个具体应用和实现方式，是指利用人工智能技术生成各种形式的内容，如文字、图像、音频和视频等。本节将介绍生成模型基本概念，首先介绍生成模型的基本概念，然后，构建用于衡量生成模型性能的框架，并介绍一些重要的核心概念。然后，介绍当前主流的生成模型技术及其分类。
AIGC实战——生成式人工智能总结与展望
盼小辉丶的博客
10-31 1万+
近年来，生成模型取得了突破性进展，生成式人工智能拥有了无限可能性和潜在影响，有着无限的实际应用潜力，我们期待着生成式人工智能够产生更广泛的影响。生成模型领域不仅仅是关于创建图像、文本或音乐的应用，而且生成式深度学习隐藏着人工智能的本质。在本节中，将概述生成式人工智能的发展历史，然后探讨生成式人工智能面临的机遇和挑战，介绍可能的发展方向，以及它对社会的潜在影响，并解决主要的伦理和实践问题。
读了14篇论文，终于会拿捏Diffusion了
李rumor
11-28 1564
卷友们好，我是中森。扩散模型自2020年的DDPM以来，以其种种优异的特性（如训练简便，对数据分布拟合效果极好，本身的构造体系使得性质调控更加优雅直接等），在两年来横扫整个学术界，甚至出圈引起了广泛的大众讨论。每一天都会有新的文章新的方法被提出，但因为领域发展得实在太快，这些文章往往基于不同阶段的扩散模型成果添砖加瓦，使得其在短至发表几个月后就已落伍或只有参考意义。如果对整个扩散领域发展的脉络没有...
AIGC算法3：Attention及其变体
量化就是探索生活
04-25 1819
Attention是Transformer的核心部分，Attention机制帮助模型进行信息筛选，通过Q，K，V,对信息进行加工。
[Classifier-Guided-Expand] More Control for Free! Image Synthesis with Semantic Diffusion Guidance
sinat_30618203的博客
07-03 258
过去的text-to-image生成方法需要image-caption对进行训练，无法用在没有text annotation的数据集上本文用一个统一的框架，可以选择用reference image / language / language + image指导图像生成模型。
基于扩散模型的文本引导图像生成算法
Paper weekly
05-07 1万+
©作者 | 微风单位 | 中山大学+IDEA研究院研究方向 | 多模态表征学习、多模态生成DALL·E 2 之所以能够生成十分惊艳的图像，扩散模型功不可没，相比 GAN，该模型可以生成更多样，更高质量的图像（缺点在于计算量很大，需要反复迭代）。扩散模型的思想很简单，inference 的时候给定一个噪声信号作为输入，训练一个模型估计高斯噪声，用噪声减去这个预测的噪声，然后...
GAN学习历程之Semantic Image Synthesis with Spatially-Adaptive Normalizatio论文笔记
小张的记录
03-26 2131
INSTAGAN: Instance-aware image-to-image translation 论文地址： 代码地址： Abstract 提出： 为解决一些具有挑战性的问题，尤其是当一个图片有多个目标实例和涉及形状改变的转换任务。 Introduction 文章介绍了一种利用图像和实例信息作为输入，在保证背景不变的情况下对实例进行转换方法。InstaGAN主要是在cycleGA...
从DDPM到GLIDE：基于扩散模型的图像生成算法进展
shenlanshenyanai的博客
12-28 6004
前几天，OpenAI在Arxiv上挂出来了他们最新最强的文本-图像生成GLIDE [1]，如头图所示，GLIDE能生成非常真实的结果。GLIDE并非基于对抗生成网络或是VQ-VAE类模型所设计，而是采用了一种新的图像生成范式 - 扩散模型（Diffusion Model）。 作为一种新的生成模型范式，扩散模型有着和GAN不同且有趣的很多特质。这篇笔记梳理了过去一年多在扩散模型方向的一些主要工作，希望可以帮助读者更好的理解扩散模型以及GLIDE。在扩散模型相关论文中普遍有很多公式推导，笔记中基本省略了推导，
AIGC 落地实战：用 Stable Diffusion 打造企业级营销素材生成平台
2301_76277481的博客
04-27 775
在数字化营销的浪潮中，企业对于高质量营销素材的需求呈爆发式增长。传统的素材制作方式不仅耗时费力，还难以满足企业日益多样化和个性化的需求。AIGC（人工智能生成内容）技术的出现，为企业解决这一难题提供了新的思路。本文将详细介绍如何利用 Stable Diffusion 搭建一个满足企业级需求的营销素材生成平台，从需求分析到技术实现、工程化部署以及安全合规保障，全方位为你呈现一个完整的实战案例。
【Stable Diffusion】文生图进阶指南：采样器、噪声调度与迭代步数的解析
qq_40205510的博客
04-29 833
理解DPM++ 2M、Automatic调度器与步数的协同机制，是掌握Stable Diffusion精细化控制的关键。无论是追求效率的快速迭代，还是苛求细节的艺术创作，合理配置这三者都能显著提升生成效果。未来，随着DPM-Solver++等高阶算法的持续优化，文生图技术将更智能地平衡人类创意与计算效能。延伸阅读DPM-Solver++论文解析DDIM加速采样的数学推导医学图像生成中的扩散模型应用。
aigc
最新发布
05-01
总结步骤： 1. 技术介绍分点，包含核心技术和数学模型。 2. 应用场景分领域详细说明。 3. 生成相关问题，覆盖技术、应用、挑战等方面。 4. 正确添加引用标识，确保每个引用与内容相关。 5. 检查LaTeX语法和格式规范...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值