【Diffusion学习】【生成式AI】Stable Diffusion、DALL-E、Imagen 背後共同的套路

已于 2024-07-15 16:35:17 修改
阅读量170 收藏 2
点赞数 2
分类专栏： 【Diffusion学习】 文章标签： 人工智能 stable diffusion
于 2024-07-15 16:34:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43154149/article/details/140441769
版权

文章目录

from: https://www.youtube.com/watch?v=JbfcAaBT66U&list=PLJV_el3uVTsNi7PgekEUFsyVllAJXRsP-&index=5

简介：

84,841次观看 2023年3月25日 【機器學習 2023】(生成式 AI)
感謝黃敬峰先生提供字幕

Stable Diffusion
https://arxiv.org/abs/2112.10752

DALL-E series
https://arxiv.org/abs/2204.06125
https://arxiv.org/abs/2102.12092

Imagen
https://arxiv.org/abs/2205.11487

图片生成Framework 需要3个组件：

  1. Text Encoder
  2. Generation Model
  3. Decoder

在这里插入图片描述

相关论文【Stable Diffusion，DALL-E，Imagen】

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

具体介绍三个组件

在这里插入图片描述

1. Text encoder介绍【结论：文字的encoder重要，Diffusion的模型不是很重要！】

在这里插入图片描述

评估指标：FID计算

在这里插入图片描述

CLIP Score 计算

在这里插入图片描述

3. Decoder介绍【不需要成对的训练资料】

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

2. Diffusion Model介绍【训练一个noise predicter】

在这里插入图片描述

noise 加在 latent representation上

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

联系丝信
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AI绘画软件（Stable Diffusion、Midjourney、DALL-E 2）部署与开发指南
07-09
本文详细介绍了Stable Diffusion、Midjourney和DALL-E 2等AI绘画软件的部署、训练模型、安装、原理、提示词合集、API开发和插件开发。通过这些步骤和示例代码，读者可以快速上手并开始使用这些强大的AI绘画工具进行...
Stable-Diffusion WEBUI 简体中文语言包（2023.05.30更新）
05-30
AI绘图，Stable-Diffusion WEBUI，本地化（简体中文）语言文件。 原始文件来自翻译插件，根据自己实际使用情况，增加和修改了一些翻译。 配合【双语插件】看上去要自然一点，内容还在继续完善中。 本次增加了一些...
生成式 AI 背后的共同框架：Stable Diffusion、DALL-E、Imagen
Gene_I must wait for the sunrise
04-02 2819
生成器的内部框架如下所示： - 第一部分：Text Encoder，输出 Text，返回对应的 Embedding（向量）； - 第二部分：Generation Model，输入为 Text 的 Embedding 与一个随机生成的 Embedding（用于后续的 Diffusion 过程），返回中间产物（可以是图片的压缩版本，也可以是 Latent Representation）； - 第三部分：Decoder，输入为图片的压缩版本，返回最终的图片。
图像生成模型浅析（Stable Diffusion、DALL-E、Imagen）
周同学的博客
04-14 1774
图像生成模型浅析（Stable Diffusion、DALL-E、Imagen）
AIGC：Stable Diffusion、DALL-E、Imagen框架介绍
GIS摆渡人
06-23 369
此处需要注意，去噪的过程是「随机高斯噪音」逐步变成「最终 Latent Representation」的过程，该过程中的每一步的 Embedding，丢进 Decoder 均可得到图片，对应于图片生成时，图片逐步变清晰的过程。最后在生成图片时，输入为「Text Embedding + 随机高斯噪声」，每次识别出具体的噪声，再一步一步执行去噪，即可得到最终的 Latent Representation，再输入至 Decoder 即可。GPT、Bert 均可当作文字 Encoder，其对最终结果的影响非常大。
解锁Diffusion Model: 初识Stable Diffusion、DALL-E、Imagen
鲁班模锤
07-03 1318
现在的Stable Diffusion、DALL-E、Imagen背后都有比较类似的架构。抽象出来分为三个部分：1 文字Embedding、2 文字和图的Diffusion生成具有特定意义的中间向量、3 将最终的中间向量丢到解码器生成图片。
生成式 AI——ChatGPT、Dall-E、Midjourney 等算法理念探讨
知来者逆的博客
06-03 1858
将人类创造力与机器计算相结合，已经成为一种宝贵的工具，平台如ChatGPT和DALL-E 2正在不断突破我们想象力的边界。它们不仅能够制作文本内容，还能够创造出视觉艺术作品，应用范围广泛且多样化。 然而，与任何技术一样，其道德影响也是至关重要的。尽管生成式人工智能带来了无限的创造潜力，但我们也必须负责任地使用它，并意识到其潜在的偏见和数据操控能力。随着像ChatGPT这样的工具变得越来越易于使用，现在正是尝试和实验的最佳时机。无论你是艺术家、程序员还是技术爱好者，生成式人工智能领域都充满了等待被探索的
DALL-E、Stable Diffusion 等 20+ 图像生成模型综述
2301_78285120的博客
05-21 503
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型& AIGC 技术趋势、大模型& AIGC 落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。
解锁Diffusion Model: 初识Stable Diffusion、DALL-E、Imagen！
Python栈_基的博客
07-04 1085
扩散模型在生成高质量图像、视频、声音等方面表现突出。它们与物理学中的自然扩散过程相似而得名，自然扩散过程描述了分子如何从高浓度区域移动到低浓度区域。在机器学习的背景下，扩散模型通过逆转扩散过程来生成新数据。主要的思想是向数据添加随机噪声，然后反过来从噪声数据中推理和获取原始数据。“是先有雕像，还是先有石头，其实雕像已经早在石头里面！Diffusion Model（扩散模型）其实理解起来不难，它分为两个过程，正向扩散和逆向扩散。正向扩散过程从基本分布（通常是高斯分布）采样开始生成噪声。
Stable Diffusion和DALL.E 2哪个更好
weixin_42612804的博客
02-18 445
我无法确定哪个更好，因为它们的功能和用途不同。Stable Diffusion是一种深度学习技术，用于模拟普通微分方程，可用于处理复杂的统计问题和数学模型。而DALL·E 2则是一个语言模型，专门用于处理自然语言处理任务。 ...
AI图像模型的深度分析：DALL·E 3、Google Imagen2、Stable Diffusion 和 Midjourney
Immersed in Tech
02-05 1123
本文深入分析了四个主要的 AI 图像生成模型——DALL·E 3、Google Imagen2、Stable Diffusion 和 Midjourney，探讨了它们各自的优势和特点。通过比较这些模型在不同方面的表现，包括数字绘画品质、写实性、表情与情感、构图、色彩与光线处理，以及它们如何处理瑕疵和人工痕迹，文章揭示了每个模型的独特创造视野和风格。DALL·E 3 以其丰富的想象力和创造性概念脱颖而出，适合抽象和艺术项目；Google Imagen2 提供了无与伦比的精确性和现实主义，适合需要逼真图像的
了解Stable Diffusion、Midjourney和DALL-E 2等AI绘画软件的部署
最新发布
07-15
了解Stable Diffusion、Midjourney和DALL-E 2等AI绘画软件的部署、训练模型、安装、原理、提示词合集、API开发和插件等方面的信息，可以帮助您更好地使用这些工具。以下是详细的介绍，这些AI绘画软件在不同场景下各...
AI-绘画的工具准备：Stable-Diffusion使用教程.pdf
06-03
AI-绘画的工具准备：Stable-Diffusion使用教程
Stable-Diffusion-WebUI（秋叶）和Stable-Diffusion–forge
05-10
百度网盘下载
OpenSNN推文：近期优质博客推荐汇总
opensnn的博客
07-12 305
国内个人博客站点众多，涵盖了技术、生活、艺术等多个领域。
AGI 之 【Hugging Face】 的【问答系统】的 [构建问答系统] / [ 构建基于评论的问答系统 ] 的简单整理
仙魁XAN
07-12 821
AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。AGI能做的事情非常广泛：跨领域任务执行：AGI能够处理多领域的任务，不受限于特定应用场景。自主学习与适应：AGI能够从经验中学习，并适应新环境和新情境。
聊聊如何在内网下构建大模型微调环境
python1234567_的博客
07-12 827
LlamaFactory新版更新后，还是比较方便，只是说llamafactory-cli命令的确是有点蒙，踩个坑就好了。对于LlamaFactory微调来说，本身不难，毕竟都是配置；主要是在内网环境下的依赖包拉取安装是真麻烦，但其实也还好。走一遍的话，还是可以学到很多的。​。
阿里发布大模型发布图结构长文本处理智能体，超越GPT-4-128k
夕小瑶科技说
07-09 913
随着大语言模型的发展，处理长文本的能力成为了一个重要挑战。虽然有许多方法试图解决这个问题，但都存在不同程度的局限性。最近，阿里巴巴的研究团队提出了一个名为GraphReader的新方法，通过将长文本组织成图结构，并利用智能体来探索这个图，成功提升了模型处理长文本的能力。GraphReader的核心思想是将长文本分解成关键元素和原子事实，构建成一个图，然后让智能体在这个图中探索和推理。这种方法不仅能有效处理超长文本，还在多跳问答等复杂任务上取得了优异表现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值