第十五章：stable diffusion Controlnet进阶玩法

最新推荐文章于 2025-04-30 15:09:49 发布
最新推荐文章于 2025-04-30 15:09:49 发布
阅读量355 收藏 2
点赞数 10
分类专栏： stable diffusion 文章标签： stable diffusion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wwwfdfsf/article/details/139393010
版权

一.图生图基本方法

1.挑选一张合适得角色原图，导入sd图生图中，然后书写提示词，尽可能得描述角色，你也可以利用提示词反推功能，然后选择大模型，设置参数，注意得一点是将重绘幅度设置在0.5左右，点击生成就得到一副三次元写真了不过你想要得到一张更为满意得图，可能还需要对细节做出一些处理

二.有时姿势细节不足时，就需要用到controlnet，这里有一个非常好的模型，lineart,它可以提取信息生成一副线稿图

1.基于上面的几步，我们再次接着上面得操作，打开controlnet，勾选完美像素，选择lineart预处理器

在有导入得图片下，选择一个预处理器，点击爆炸按钮，就会提取成线稿模样

最低0.47元/天 解锁文章
【Stable Diffusion - Ai】小白入门必看（想控制AI的绘画结果？ControlNet 预处理篇）！真材实料！不卖课！！！
miaomiaowins的博客
11-13 1406
对于ControlNet来说，很多人都会感觉到陌生；这个插件简单来说就是通过选择不同的ControlNet预处理器结合对应的辅助生成模型，调整额外的控制参数来影响图片生成的输出结果，这些预处理器可以有边缘线稿、人物姿态、脸部特征、分块、局部重绘等等，相比于之前直接用提示词来控制生成图片结果会更加精准和符合你的预期。
2024最新controlnet详解：Inpaint 局部重绘的使用方法
Yu91an的博客
06-28 4105
在本教程中，我们将介绍如何使用Stable Diffusion WebUI中的ControlNet的inpaint_only预处理器进行AI扩图。通过这一预处理器，您可以轻松地对图像进行局部修复和重绘，使其达到更加理想的效果。
【AI绘画】万字长文——（超详细）ControlNet的详细介绍&使用Stable Diffusion的艺术二维码完全生成攻略
艰难困苦，玉汝于成。
12-05 6301
使用二维码作为ControlNet模型的输入的Stable Diffusion生成的图像，使二维码转变为艺术图像：是StabilityAI于2022年8月22日发布的文本到图像模型。它类似于OpenAI的DALL·E 2和Midjourney等其他图像生成模型，但有一个很大的不同:它是开源的,在发布后的短短几周内，围绕Stable Diffusion模型和相关工具的创新出现了爆炸式增长。Stable Diffusion在速度上的突破也意味着，模型第一次可以在消费类gpu上运行，而不是在超级计算机上。
AI绘画Stable diffusion最强大的功能：ControlNet插件详解
白帽阿叁的博客
06-26 1621
大家好，我是程序员晓晓。在之前的几篇文章中我已经陆续地介绍过Stable diffusion的一些基础功能，接下来要介绍的是Stable diffusion中稍微难一点的，但同时也是比较实用的功能：ControlNet。简单来说，ControlNet 是一个通过添加来控制中图像生成的。额外条件怎么理解呢？在没有ControlNet之前，我们一般都是通过提示词来生成图片，这里的提示词其实就是一种条件。而额外条件就是在提示词的基础上再增加一些参考条件，比如人物的姿势、轮廓、空间感等。
2024最新controlnet详解：Tile
Yu91an的博客
07-02 1384
如果给controlnet的模型排名，tile肯定在前三，tile的功能非常强大。本文详细介绍了ControlNet中的Tile功能，帮助用户在AI绘图创作中实现模块化的设计，提升作品的艺术表现力和创作效率。在ControlNet中，有一个模型叫做Tile， 翻译成中文为"瓷砖，瓦片"。在SD Web UI工具中经常翻译为“分块”，它的主要作用是在保持图片整体布局的基础上给照片添加细节。基于这个特性，经常结合各种插件做图片的精细放大处理，用于对图片进行高清修复改善画质。
Stable Diffusion【进阶篇】：破损照片的修复
HJS123456780的博客
11-07 1126
大家有没有见过一些破损的照片呢，可能照片缺个角，可能照片中间破损了一条线，在AI之前，修复类似的破损照片可能是个技术活，但是现在使用AI工具，基本上几分钟就可以搞定。我们先来看一下破损照片修复的处理效果。我们可以在修复照片的同时对人物服装或者背景进行修改。下面我们来看一下具体的操作方式。这里以修复下面的这张破损照片为例。我们在ControlNet的单元0上传该破损的照片，并且在破损的区域使用画笔涂白。相关如下：控制类型：选择"局部重绘"模型：control_xxx_inpaint。
Stable Diffusion【进阶篇】：图片的创成式填充
HJS123456780的博客
01-23 398
注：文章使用的SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。所谓图片的创成式填充，就是基于原有图片进行扩展或延展，在保证图片合理性的同时实现与原图片的高度契合。是目前图像处理中常见应用之一。之前大部分都是通过PS工具来处理的。今天我们来看看在StableDiffusion中如何实现。我们先来看一下创成式图片处理效果。原图片：512*512横向扩展：1024*512纵向扩展：512*1024下面我们来看一下具体的操作方式。
Stable Diffusion【进阶篇】：真人漫改之IP-Adapter实现
AA1213888的博客
07-18 1288
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Stable Diffusion【应用篇】【城市地标冰淇淋】：这样的冰淇淋城市地标，谁不爱呢？附教程
HJS123456780的博客
02-04 815
StableDiffusion，这款创新的工具，带给你无限创意和乐趣。现在，让我们一起探索StableDiffusion在城市地标冰淇淋创作中的应用，让你的城市地标焕发新生，变成诱人的冰淇淋造型。夏日的热浪一波接一波，但有了冰淇淋，高温也变得不那么可怕。想象一下，在炎炎夏日，手捧一杯冰凉的冰淇淋，那细腻的口感、甜蜜的味道，瞬间带走了所有的炎热和烦躁。我们今天就来体验一下使用SD来实现地标建筑转绘冰淇淋风格的制作方法，我们先看一下效果。在制作冰淇淋主题的地标建筑图片前，我们需要准备好地标建筑的图片。
【stable diffusion】：秋叶大佬整合包安装全过程，保姆级教程
梅花寺
08-08 1388
整合包对非技术出身的同学比较友好，因为秋叶大佬把相关的东西已经都整合好了，只需要点点点就行了。当然懂编程的同学就更没有问题了。
ComfyUI 基础教程—— 应用 Controlnet 精准控制图像生成
2401_86940371的博客
09-08 3563
你是否有见过下面类似这样的图片：看起来平平无奇，当你站远点看，或者把眼睛眯成一条缝了看，你会发现，这个图中藏有一些特别的元素。这就是利用了 Ai 绘画中的 ControlNet，实现对图片的相对更精准控制。上一篇文章讲述了文生图的基本工作流和最基础的核心插件用法。通过提示器可以描述我们想要生成的图片。但是通过文字是无法精准描述描述图片的。
【SD进阶教程】局部重绘
ikesoft_com的博客
08-21 1925
教大家一招【局部重绘】让您的作品瞬间焕发新生！
【Stable Diffusion】文生图进阶指南：采样器、噪声调度与迭代步数的解析
qq_40205510的博客
04-29 874
理解DPM++ 2M、Automatic调度器与步数的协同机制，是掌握Stable Diffusion精细化控制的关键。无论是追求效率的快速迭代，还是苛求细节的艺术创作，合理配置这三者都能显著提升生成效果。未来，随着DPM-Solver++等高阶算法的持续优化，文生图技术将更智能地平衡人类创意与计算效能。延伸阅读DPM-Solver++论文解析DDIM加速采样的数学推导医学图像生成中的扩散模型应用。
【Stable Diffusion】使用教程：从原理到实战，全面掌握AI绘画
qq_40205510的博客
04-28 884
通过不断尝试新模型、插件与参数组合，你将逐步掌握AI绘画的精髓。建议从模仿优秀案例起步，逐步探索个性化创作，最终实现“所想即所得”的自由表达。，用户可通过微调模型、插件扩展实现高度个性化的创作，远超Midjourney等付费工具的可控性。，能够根据文本描述生成高质量图像，支持图像修复、风格迁移、超分辨率等多种任务。Stable Diffusion（简称SD）是一种。Stable Diffusion的潜力在于其。
解读 AI绘画工作流ComfyUI Stable Diffusion
互联网架构师笔记
04-30 344
ComfyUI是一个基于节点流程的Stable Diffusion操作界面，通过自定义节点、拖拽连线实现精准的工作流定制，以完成更复杂的图像生成工作。
【Stable Diffusion】原理详解：从噪声到艺术的AI魔法
qq_40205510的博客
04-29 603
Stable Diffusion通过潜在空间压缩条件扩散机制与高效UNet设计，实现了高质量图像的快速生成。其开源生态（如Hugging Face Diffusers库、Automatic1111 WebUI）进一步推动了技术普及。实时生成优化：通过蒸馏技术降低硬件需求。多模态控制：结合语音、草图等多条件输入。伦理与安全：解决版权争议与深度伪造风险。通过持续的技术迭代与社区贡献，Stable Diffusion正重新定义人类与AI协同创作的边界，成为艺术、设计、科研等领域的重要工具。
北京市城-郊梯度森林表土碳组分及其影响因素数据集（2019）
最新发布
05-02
作者于2019年6月下旬至7月初，从北京市中心（紫禁城）到郊区设置了4条不同走向（东北、西北、西南和正南）的城—郊梯度样带；随机选取了20个独立的城市森林公园进行采样。每个公园选择3块典型森林斑块，采集表层（0-10 cm）和亚表层（10-20 cm）土壤样品，并测定了土壤总碳含量、土壤有机碳含量、颗粒态有机碳和矿物结合态有机碳含量。该数据集内容包括：（1）样点位置数据；（2）研究区森林表土总碳、总有机碳、总无机碳、颗粒态有机碳和矿物结合态有机碳含量；（3）森林表土碳组分含量与不同影响因素数据，包括：土壤数据（土壤pH、土壤粘粉粒含量）、植被数据（植被覆盖度、公园年龄、树种多样性）、气候数据（年均温、年降水量）。数据集存储为.shp和.xlsx格式，由8个数据文件组成，数据量为30.7 KB（压缩为1个文件，27 KB）。田越韩, 郭泓伯, 高晓飞等. 北京森林表土碳组分城郊梯度变化及其影响因素[J]. 地理学报, 2024, 79(1): 206-217. DOI: 10.11821/dlxb202401013.
USB转串口模块：CH340与FT232双选，61*35mm尺寸，原理图&PCB版
05-02
内容概要：本文详细介绍了集成CH340和FT232两款芯片的USB转串口模块的设计与应用。该模块尺寸为61x35mm，采用跳线帽进行芯片切换，支持多种接口（USB-A公头、Mini USB母座）和电源输出（5V和3.3V）。文中探讨了硬件配置、电源设计、信号切换电路以及PCB布局等方面的细节，并提供了Python、Arduino和Linux下的代码示例来展示不同场景下的使用方法。此外，还分享了一些实际项目中的经验和注意事项，如波特率适配、电磁兼容性和稳压电路设计等。 适合人群：从事嵌入式系统开发、硬件设计及相关领域的工程师和技术爱好者。 使用场景及目标：适用于需要灵活选择USB转串口芯片的项目，特别是在工业级应用场景中，能够提供稳定的通信解决方案。目标是帮助开发者更好地理解和利用这一模块，提高开发效率和产品质量。 其他说明：文中提到的双芯片设计方案不仅兼顾了成本效益，还能满足不同项目的特定需求。对于初学者来说，可以通过提供的代码示例快速上手；而对于资深工程师，则可以深入研究硬件设计细节，优化现有产品。
基于水平集进化的轮廓提取MATLAB代码实现及优化策略研究
05-02
内容概要：本文详细探讨了利用MATLAB实现水平集进化进行图像轮廓提取的方法。首先介绍了传统的水平集演化方法存在的问题，如频繁的重新初始化导致计算效率低下和分割精度波动。接着提出了一种改进方案，即在演化方程中引入正则化项来自适应地维护水平集的良好状态，从而避免了显式的重新初始化操作。此外，还讨论了曲率计算方法的优化以及参数选择的影响，并展示了改进前后算法性能的具体对比实验结果。 适合人群：从事图像处理、计算机视觉领域的研究人员和技术开发者，尤其是对水平集方法有一定了解并希望提高其实战应用效果的专业人士。 使用场景及目标：适用于需要精确分割图像中目标对象的应用场合，如医学影像分析（CT、MRI）、遥感图像处理等。主要目的是提升图像分割的速度和准确性，同时降低计算资源消耗。 其他说明：文中提供了多个MATLAB代码片段用于解释各个关键技术点，便于读者理解和实践。对于想要深入了解水平集演化的机制及其优化策略的人来说是非常有价值的参考资料。
stable diffusion controlnet
01-11
### Stable Diffusion 和 ControlNet 技术详解 #### 控制生成过程中的不确定性 Stable Diffusion 是一种强大的图像生成功能，能够基于文本描述创建视觉内容。不过，在实际应用过程中发现仅依赖于复杂的提示词难以精准控制输出效果[^2]。 为了改善这一点，ControlNet 扩展被引入到 Stable Diffusion 中来增强模型的表现力。通过利用额外的信息作为条件输入给扩散模型，使得用户可以在一定程度上指导生成流程，从而获得更加符合预期的结果。 #### 获取并加载预训练好的 Community Model 对于想要尝试不同风格或者特定功能的使用者来说，可以从 Hugging Face 平台获取由社区贡献的各种版本的 ControlNet 模型文件。这些资源位于指定链接下，并且支持直接应用于个人项目之中[^1]： - 社区 ControlNet 模型下载地址：<https://huggingface.co/lllyasviel/sd_control_collection/tree/main> #### 配置 WebUI 插件以启用 ControlNet 功能 当已经在本地环境中部署好了基础版 Stable Diffusion 后，下一步就是安装对应的插件以便更好地操作新加入的功能模块。这通常涉及到修改配置文件以及确保所有必要的依赖项都已经正确设置完毕。完成之后就可以在图形界面里找到新增加的操作选项了。 #### 调整参数优化输出质量 值得注意的是，除了简单的开启关闭之外，还可以进一步微调一些高级设定比如 `controlnet_exit_step` 来影响整个渲染周期内的干预程度。例如将该值设为 0.8 表明只会在前百分之八十的时间段内保持激活状态直到第 24 步结束时停止作用[^5]。 ```python from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch model_id = "runwayml/stable-diffusion-v1-5" scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler") pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler).to("cuda") prompt = "A fantasy landscape with mountains and rivers." image = pipe(prompt=prompt, controlnet_model="path_to_your_downloaded_ControlNet", controlnet_exit_step=0.8).images[0] image.show() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DarkQE

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值