机器学习笔记：李宏毅 stable diffusion

最新推荐文章于 2023-10-31 22:25:11 发布
最新推荐文章于 2023-10-31 22:25:11 发布
阅读量1k 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 笔记 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/132259609
版权

1 基本框架

  •  ①：文字变成向量
  •  ②：喂入噪声+文字encoder，产生中间产物
  •  ③：decoder 还原图片

2  text encoder

 这张图越往右下表示效果越好，可以看到text encoder尺寸越大，对后续生成图片的增益越多

3 评价图片生成好坏的标准

3.1 FID

  •  现有一个训练好的CNN 模型，可以生成真实影像和生成图像的representation
  • 这两组表征的分布越近，效果越好
  • ——>我们sample 一堆图片，然后生成一组同语义的图片，计算他们分布的distance

3.2  CLIP

  •  如果图片和文字是成对的，那么他们的representation越近表示生成的图片效果越好

4 decoder

 

  • 训练一个auoto encoder
  • 训练完把decoder拿出来用即可

5 噪声加的位置

  • 之前defusion model 中，noise是加在图片上
  • 但现在产生的东西已经不是图片了
    • ——>noise 加在中间产物上

大体上和diffusion model 类似，这里就是最后多接一个decoder，将中间产物变成图片

 

UQI-LIUWJ
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
李宏毅机器学习学习笔记
08-05
李宏毅机器学习学习笔记
李宏毅机器学习笔记
01-18
李宏毅机器学习笔记，文档文件，笔记全面，总结充分，仅供学习
machineLearningDeepLearning:李宏毅2021机器学习深度学习笔记PPT作业
05-11
李宏毅老师2021年Spring机器学习深度学习上线新课程，持续更新中 PPT，作业代码，学习笔记，上课代码，tensorflow|pytorch将会上传到github，欢迎Star，请多多鼓励。 如何下载本库内容 下载方式 1 git工具下载 ​ git clone 下载方式 2 网页下载 更新记录 PPT部分 路径：machineLearningDeepLearning/ppt 第七章 已同步官网更新到第九章 Domain Adaptation/RL Video部分  课程介绍 中文 英文 第一章 中文 英文 第二章 中文 英文 第三章 中文 英文 更新部分 第四章 中文 英文 未更新 第五章 中文 第六章 中文 第七章 中文 第八章 中文 第九章 官网暂未更新 HomeWork部分 路径：machineLearningDeepLearning/homework
学习记录（三）
weixin_45091982的博客
04-04 65
李宏毅《生成式AI：Stable diffusion、DALL-E、Imagen背后共同套路》由三部分构成：3、Decoder输入的一段文字，进入Text Encoder，输出为几段向量。上一步输出的向量加上噪声作为Generation Model的输入，经过生成模型输出一个“中间产物”，这个中间产物可以是小图（图片的压缩版本），也可以是一个latent representation。上一步输出的“中间产物”作为Decoder的输入，经过Decoder，最后生成一张图像。
李宏毅-2023春机器学习 ML2023 SPRING-学习笔记：4/7 Diffusion Model 原理剖析(optional)
Transfattyacids的博客
05-07 901
4：从平均值(mean)=0，方差(variance)=1的normal distribution中sample出ε，大小与image一致，是一张全是噪音的图片。我们会发现，噪声只由β序列和xt-1所决定（固定的而非可学习的过程），且生成xt-1时只依赖于xt，可以得出在添加噪声的过程中，是一个马尔科夫链过程，进而得出。αT），得到带有噪音的图片（α越大得到的图片带有的噪音占比越大）；注意，在得到的式子中只有ε是需要通过神经网络来预测的（其他的参数都是已经定好的或是可以推算出来的）)：预测生成的噪音图片；
【论文简介】Stable Diffusion的基础论文:2112.High-Resolution Image Synthesis with Latent Diffusion Models
热门推荐
进一寸有一寸的欢喜
10-31 3万+
SD主体结构如下图所示，主要包括三个模型：autoencoder：encoder将图像压缩到latent空间，而decoder将latent解码为图像；CLIP text encoder：提取输入text的text embeddings，通过cross attention方式送入扩散模型的UNet中作为condition；UNet：扩散模型的主体，用来实现文本引导下的latent生成。
Diffusion模型（李宏毅）
m0_74982304的博客
05-23 986
类似于seq2seq。
李宏毅-2023春机器学习 ML2023 SPRING-学习笔记：3/24机器如何生成图像
Transfattyacids的博客
05-02 809
文字输入decoder，用于限制图像生成的范围，Encoder输出一个向量，交给decoder，希望还原回一样的图像，encoder和decoder一起训练，希望生成的图像约相似越好同时要对encoder生成的向量做限制，强制其是normal distribution训练encoder，输入一张图片输出一个向量，并保证这个向量是可逆的（大小与输入图像一致），多个向量组成normal distribution，输入encoder得出生成图像。
Generative Model - 李宏毅笔记
weixin_42010722的博客
11-11 1318
输入x。输出不同且具有创造的结果 画画 比如 画一个红眼睛的人脸 GAN的变形 GAN ACGAN BGAN CGAN DCGAN EBGAN fGAN GoGAN 神奇宝贝比比鸟 学习，根据周围环境，自学习进化， 通过每次生成的。和判别器判断，进化 生成器与判别器 对抗 generato loss越小越好 discriminator越大越好 反复执行 训练 生成器后 固定 判别器 ，把生成器生成的给判别器判断（固定生成器，训练判别器）， styleGAN 动画头像 progressiveGAN 人脸 通
深度学习（四十七）——Flow-based Model, Diffusion Model, Autoregressive Model
antkillerfarm的专栏
02-06 1836
Flow-based Model, Diffusion Model, Autoregressive Model
ML2017-笔记：李宏毅机器学习2017个人笔记
02-03
ML2017-笔记：李宏毅机器学习2017个人笔记
视频学习笔记——李宏毅机器学习——P1，2
09-12
此为datawhale组队学习（李宏毅机器学习）学习笔记 是看视频做的原创笔记 此为第一天打卡
李宏毅2021机器学习深度学习笔记PPT作业
09-05
李宏毅2021机器学习深度学习笔记PPT作业
:white_medium_star: 李宏毅2020机器学习作业4-RNN：句子情感分类
01-20
文章目录0 作业链接1 作业说明环境任务说明任务要求数据说明作业概述2 基本原理与概念单词的表示句子的表示1-of-N encodingBag of Words (BOW)word embeddingSemi-supervised Learning 半监督学习3 原始代码warning...
MLDL:李宏毅2020深度学习笔记（自用）
04-09
MLDL 研究生预备知识学习笔记，包含李宏毅深度学习与数字图像处理。 深度学习笔记在基础上添加自己的理解，纯自用。 MLDnotes 深度学习笔记 papernotes 论文笔记与相关知识 plans 每日计划
【Diffusion】李宏毅2023机器学习Diffusion笔记
小扣的学习Blog
08-18 1396
Diffusion的直觉与数学推导
李宏毅机器学习 Diffusion Model
最新发布
weixin_44796129的博客
10-31 138
Imagen所用文字Encoder，其中FID值越小，生成的图片越好 ，CLIP值越大越好， 文字编码的大小较影响生成图片的质量。4：从平均值(mean)=0，方差(variance)=1的normal distribution中sample出ε，大小与image一致，是一张全是噪音的图片。Denoise内部通过输入噪音图片和步骤step，产生一张噪音图，即预测这张照片中噪音应该的样子，再用输入图片减去噪音图片，生成输出图。5： 红框内为干净图片和噪音图片混合生成的噪音，结合t，进行逼近。
[论文笔记] stable diffusion——3、模型介绍
心宝的博客
08-15 356
扩散模型是一种生成模型，与其他生成模型一样，可以通过从简单分布采样的噪声中生成目标数据样本。扩散模型由前向过程和反向过程组成，其中前向过程又称为扩散过程。前向过程和反向过程都是参数化的马尔可夫链，其中反向过程可以用于生成数据样本。与GAN生成器不同的是，DDPM的反向过程没有维度变化。
机器学习笔记：李宏毅diffusion model
qq_40206371的博客
08-13 870
这样就形成了一对一对的 输入和ground-truth ，供noise predictor 训练。整体的框架没有多少变化，就是 denoise model 输入多了一个文字的vector。那么如何训练noise predictor，换句话说，怎么找到ground-truth呢。如果我们是提供给diffusion model 文字，让他生成图片。
李宏毅2020机器学习笔记attention
08-12
在李宏毅的2020机器学习笔记中，有一个关于注意力机制(Attention)的部分。这部分内容主要介绍了生成模型(Generation)、注意力(Attention)、生成的技巧(Tips for Generation)以及指针网络(Pointer Network)。在生成模型中，主要讲述了如何生成一个有结构的对象。接下来介绍了注意力机制，包括一些有趣的技术，比如图片生成句子等。在生成的技巧部分，提到了一些新的技术以及可能遇到的问题和偏差，并给出了相应的解决方案。最后，稍微提到了强化学习。其中还提到了在输出"machine"这个单词时，只需要关注"机器"这个部分，而不必考虑输入中的"学习"这个部分。这样可以得到更好的结果。另外，还提到了关于产生"ei"的方法，其中有研究应用了连续动态模型自注意力(Self-attention)来学习位置编码的方法。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [2020李宏毅机器学习笔记-Condition Generation by RNN&Attention](https://blog.csdn.net/zn961018/article/details/117593813)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [李宏毅机器学习学习笔记：Self-attention](https://blog.csdn.net/weixin_44455827/article/details/128094176)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值