代码解读：使用Stable Diffusion完成相似图像生成任务

已于 2024-04-14 23:05:47 修改
阅读量783 收藏 10
点赞数 8
分类专栏： Diffusion Models与深度学习 文章标签： stable diffusion 扩散模型 图像生成 AIGC 计算机视觉
于 2024-04-11 19:58:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/137649358
版权
本文深入探讨稳定扩散模型（Stable Diffusion）如何用于生成相似图像，涵盖模型原理、代码实战、环境配置、参数解析，通过实例展示如何在图像中加入噪声并利用分类器引导进行图像生成。
摘要由CSDN通过智能技术生成

Diffusion models代码解读：入门与实战

前言：作为内容生产重要的一部分，生成相似图像是一项有意义的工作，例如很多内容创作分享平台单纯依赖用户贡献的图片已经不够了，最省力的方法就是利用已有的图片生成相似的图片作为补充。这篇博客详细解读基于Stable Diffusion生成相似图片的原理和代码。

目录

原理详解

代码实战

环境安装

代码运行

参数解读

快速体验

效果展示

代码解读

模型加载

图像加噪

分类器引导

原理详解

首先读者需要熟悉Stable Diffusion的原理，这部分的可以参考我之前的博客ÿ

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
专栏目录
订阅专栏
【第17章】Stable Diffusion WebUI 小技巧合集（生成类似图像/宫格对比图）
聚梦小课堂
11-28 376
Stable Diffusion小技巧合集，包括：如何生成类似的画面？如何生成宫格对比图？
Stable Diffusion基础：ControlNet之图片高仿效果
程序员，AI探索者
08-14 1841
今天继续给大家分享AI绘画中 ControlNet 的强大功能，本次的主角是 Reference，它可以将参照图片的风格迁移到新生成的图片中，这句话理解起来很困难，我们将通过几个实例来加深体会，比如照片转二次元风格、名画改造、AI减肥成功图片制作、绘本小故事等等。还有之前看很多文章说，Reference 可以一定程度上代替Lora，真的是这样吗？今天也来一探究竟。
图像生成模型基础——Stable Diffusion模型介绍
2401_83047642的博客
08-21 935
随着人工智能技术的飞速发展，图像生成技术也取得了显著进步。扩散模型（Stable Diffusion）因其高效性和稳定性而得到广泛关注，目前的大多数生成模型都是以扩散模型为基础进行改进得到。首先简单介绍一下传统人工智能模型和生成模型的区别。**传统人工智能模型：**主要目标是学习输入到输出的关系（如逻辑关系、映射关系等），即根据输入数据预测或分类输出。也就是说，传统人工智能模型更侧重于对已有数据的分析和处理，以实现对新数据的准确预测或分类。
Stable Diffusion结构解析-以图像生成图像！
不定期分享ai绘画相关知识~
01-30 1658
用了很久的Stable Diffusion，但从来没有好好解析过它内部的结构，写个博客记录一下，嘿嘿。Stable Diffusion是比较新的一个扩散模型，翻译过来是稳定扩散，虽然名字叫稳定扩散，但实际上换个seed生成的结果就完全不一样，非常不稳定哈。Stable Diffusion最开始的应用应该是文本生成图像，即文生图，随着技术的发展Stable Diffusion不仅支持image2image图生图的生成，还支持ControlNet等各种控制方法来定制生成的图像。
stable diffusion本部部署教程(AI绘画)根据文字生成图片,根据图片生成类似的图片
树暖
05-06 326
根据文字生成图片,根据图片生成类似的图片
【论文简介】Stable Diffusion的基础论文:2112.High-Resolution Image Synthesis with Latent Diffusion Models
热门推荐
进一寸有一寸的欢喜
10-31 3万+
SD主体结构如下图所示，主要包括三个模型：autoencoder：encoder将图像压缩到latent空间，而decoder将latent解码为图像；CLIP text encoder：提取输入text的text embeddings，通过cross attention方式送入扩散模型的UNet中作为condition；UNet：扩散模型的主体，用来实现文本引导下的latent生成。
Diffusion models代码解读：入门与实战
沉迷单车的追风少年
09-24 1万+
Diffusion models代码解读：系列文章汇总导航
【没有哪个港口是永远的停留~论文解读】stable diffusion 总结 代码&推导&网络结构
magic_shuang的博客
01-02 1757
这里之所以在prompt中加入类别，是因为作者想利用预训练模型中关于该类别物品的先验知识，并将先验知识与特殊标记符相关信息进行融合，这样就可以在不同场景下生成不同姿势的目标物体。是两个分布的相似度，分布q是 预测的高斯分布 ， 分布p是标准正态分布，这部分越小，两个分布越相似，最终的似然函数越大。作者提出的方法，大致如下图所示，即仅仅通过3到5张图片去微调文生图模型，使得模型能将输入图片中特定的物品和prompt中的特殊标记符关联起来。样例间独立，我们想找到每个样例隐含的类别z，能使得p(x,z)最大。
天才程序员周弈帆 | Stable Diffusion 解读（一）：回顾早期工作
csdn_xmj的博客
06-08 1467
Stable Diffusion由两类AE的变种发展而来，一类是有强大生成能力却需要耗费大量运算资源的DDPM，一类是能够以较高保真度压缩图像的VQVAE。Stable Diffusion是一个两阶段的图像生成模型，它先用一个使用KL正则化或VQ正则化的VQGAN来实现图像压缩，再用DDPM生成压缩图像。可以把额外的约束（如文字）输入进DDPM以实现带约束图像生成。
Stable Diffusion之最全详解图解
Qpeterqiufengyi的博客
06-11 1892
Stable Diffusion之最全详解图解
Diffusion Models专栏文章汇总：入门与实战
沉迷单车的追风少年
02-21 3万+
《Diffusion Models与深度学习》专栏文章导航
详细解读SDXL: Improving Latent Diffusion Models forHigh-Resolution Image Synthesis
沉迷单车的追风少年
08-17 776
SDXL是当下新推出的扩散模型，高质量、高分辨率、高真实性大背后是哪些技术支撑？如此先进的扩散模型做了哪些改进？这一讲详细解读一下SDXL背后的原理和技术。
基于 ROS 的Terraform托管服务轻松部署Stable Diffusion
最新发布
AliCloudROS的博客
09-12 839
Stable Diffusion是文本到图像的生成模型，ROS服务借助 Infrastructure as Code 理念，通过Terraform模板实现该模型在阿里云的快速自动化部署，提升效率与稳定性，简化云资源及应用部署流程。
利用Stable Diffusion AI图像模型评估智能车模型算法表现(下篇)
m0_66628975的博客
09-07 2742
Amazon SageMaker 是亚马逊云科技提供的一项全托管机器学习服务，帮助开发者和数据科学家轻松构建、训练和部署机器学习模型。SageMaker 提供了全套的工具和基础设施支持，用户无需管理底层的服务器和环境，即可快速处理从数据准备到模型训练再到部署的完整机器学习流程。SageMaker 提供了灵活的开发环境，支持多种常用的机器学习框架，如 TensorFlow、PyTorch 等，同时也支持用户自定义的算法和模型。
Stable Diffusion绘画 | ControlNet应用-Inpaint(局部重绘)：更完美的重绘
Leo-Fighting的博客
09-06 643
Inpaint(局部重绘) 相当于，不但可以进行局部画面的修改，还可以去除背景中多余的内容，或者是四周画面内容的扩充。
Stable diffusion生图原理
落霞与孤鹜齐飞，秋水共长天一色。
09-06 1070
最详细的Stable diffusion原理，sd工作原理，参考文章https://stable-diffusion-art.com/how-stable-diffusion-work/
【AIGC半月报】AIGC大模型启元：2024.09（上）
LeeZhao的博客
09-06 1006
【AIGC半月报】AIGC大模型启元：2024.09（上）
【AIGC数字人】EchoMimic:基于可编辑关键点条件的类人音频驱动肖像动画
qq_44091004的博客
09-08 860
EchoMimic:基于可编辑地标条件的类人音频驱动肖像动画
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值