仅做笔记用：Stable Diffusion 通过 ControlNet 扩展图片 / 扩图

已于 2023-09-17 12:11:15 修改
阅读量3k 收藏 4
点赞数
分类专栏： # AIGC 文章标签： stable diffusion AI绘图 AI作画 python
于 2023-09-12 01:19:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35977139/article/details/132820325
版权

发觉之前的 Outpainting 脚本效果仍旧不是很理想。这里又找了一下有没有效果更好的途径来扩图。于是就找到了通过 ControlNet 的方式来实现效果更好的扩图。这里临时记录一下在 Stable Diffusion 怎么使用 ControlNet 来扩展图片。

下载 control_v11p_sd15_inpaint_fp16.safetentors，放到 SD 目录的 \models\ControlNet目录。在这里插入图片描述
在 SD WebUI 里面在 ControlNet 勾选启用。选择局部重绘，然后看一看预处理器是不是 inpaint_only，模型是不是刚才下载的文件，如果不是就改一下。

下边三个滑块不用管。控制模式选择优先 ControlNet，画面缩放模式这里一般选择缩放并填充。在这里插入图片描述
然后在上面的作图尺寸里面根据想要的长宽比输入需要的尺寸（点击图片右下方最右边的按钮，可以直接将导入的图片的尺寸发送到上面的尺寸处）。当然，如果可能的话，请尽量在提示词里面写好背景方面的提示词。然后开始生成。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

可以将生成的图继续放到ControlNet的图像里面，然后重复步骤4，继续扩展图片！

不同的采样方法效果差别有些大，可以尝试更换不同的采样方法来达到更好的效果。

<!-- !CODE 8d8e30a8-71de-491c-94ad-fbce69abf4a5 -->
Stable Diffusion 对原始图像进行拓展
Mr数据杨
06-26 3125
Outpainting 技术通过拓展和丰富图像边界，使得图像创作和编辑突破了传统的分辨率限制，为创作者提供了更为广阔的想象和叙事空间。从初始图像的选择与生成到参数设置和扩展效果的控制，每个步骤都影响着最终图像的效果。本文详尽探讨了这一过程中的关键细节，使读者能够准确掌握 Outpainting 的操作要点。通过对该技术的有效运用，可以创作出与原始图像风格连贯的高分辨率图像，从而提升作品的视觉表现力，实现更丰富的图像表达。
用StableDiffusion扩图,让灵感从此刻永远Online
四夕丸子
08-26 1739
图片扩展尺寸技术在艺术创作领域具有重要的作用和价值。它不仅能够提高素材的利用率和拓宽创作空间，还能够为艺术家提供更多的创作灵感和可能性。随着技术的不断进步和优化，相信未来图片扩展尺寸技术将在艺术创作领域发挥更加重要的作用，为艺术家们带来更多的创作惊喜和可能性。
仅做笔记用：Stable Diffusion 扩展图片 / 扩图
wujiuqier的博客
06-05 5249
现有的解决方案，包括 Bing 搜出来的，基本上都是要收费的，这些解决方案大多基于 DALL-E。那么就应该研究一下开源的 Stable Diffusion 能不能也实现类似的扩图功能。
【AIGC 教程】 SD WebUI 教程：使用 ControlNet 精细控制生成结果
m0_64365896的博客
03-05 786
ControlNet 是一种通过添加额外条件来控制扩散模型的神经网络结构。它提供了一种增强稳定扩散的方法，在文本到图像生成过程中使用条件输入（如边缘映射、姿势识别等），可以让生成的图像将更接近输入图像，这比传统的图像到图像生成方法有了很大的改进。在 Stable Diffusion 的基础上使用 ControlNet 就相当于给 Stable Diffusion 加了一个插件用于引导 AI 模型按照输入的条件来生成图，从而实现更精细的生成控制。
手把手教你用Stable Diffusion免费扩展图片
WANGJUNAIJIAO的博客
09-19 856
Stable Diffuison（以下简称SD）这款AI工具，潜力无限，之前介绍过能用来画插画、二维码、数字人、换脸、动画等，今天我又发现，只需几步，1分钟就能上手，快随我去看看吧~，确保已经在电脑上安装并运行SD的Webui界面。①想要自己本地部署的朋友②推荐：我也准备了由其他大神整合的免部署解压即用的安装包（推荐B站秋叶aaaki的整合包），公众号回复【AI生成艺术二维码】获得。，下载必备模型文件control_v11p_sd15_inpaint.pth（这个文件没有在整合包中，
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 5165
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
AI绘画Stable Diffusion 超高分辨率扩图教程：ControlNet组件-Tile妙用，增强细节保持构图完整！
A13531922962的博客
07-03 2222
大家好，我是向阳。今天给大家分享如何用AI绘画工具Stable Diffusion 的工具应用。模型能够在SD绘图过程中，实现高分辨率下实现高清扩图，并且避免出现图像分身现象，以及可以调整SD扩散生产过程噪声强度和细节程度。：在图像放大过程中，能够增加描绘的细节：图像生成中增加降噪强度，也不会出现图像分身。即使是生成4K、8K 等高分辨率画质，也不会出现图像分身。在SD绘制中，显卡高昂的价格和算力瓶颈一直是困扰使用者的问题之一。通过处理方法就能很好的解决这一问题。原理是。
Stable Diffusion插件篇 ControlNet
AA1213888的博客
07-24 1285
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
【进阶】Stable Diffusion 插件 Controlnet 安装使用教程（图像精准控制）
AA1213888的博客
06-29 1535
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
stable diffusion AI精准绘图——ControlNet控件的安装与使用
AA1213888的博客
07-26 782
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Stable Diffusion基础：ControlNet之细节替换
mate1357的博客
06-17 775
通过以上这些例子，可以看到：图片的结构及相关元素主体都没有改变，变化的只有细节，也就是实现了细节的替换。感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。​AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。
Stable Diffusion基础：ControlNet之线稿成图
程序员小麦的博客
04-29 2754
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。​AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
StableDiffusion完美扩图
最新发布
给我来碗鱼丸粗面
04-13 138
SD扩图
Stable Diffusion中放大图像的3种方法
2401_84760719的博客
07-02 2210
要执行 ControlNet tile upscale：您想使用 Stable Diffusion 创建包含大量细节的大型图像吗？您将需要使用升频器。在本文中，您将学习 3 种放大图像的方法。人工智能升级器标清高档ControlNet瓷砖高档您将看到比较并了解这些方法的优缺点。如果您不熟悉该主题，则可能需要学习升频器的基础知识。
Stable Diffusion绘画 | AI 图片智能扩充
Leo-Fighting的博客
10-07 801
第一轮扩充得到的图片，两边的扩充，接缝明显，而且色调差异大，非常不自然。来到「文生图」页面，输入固定的起手式提示词。，选择一个与加载图片相对一致的大模型。现在先进行宽度扩充，扩充为。
StableDiffusion对图片进行高清、优化、放大
m0_59236602的博客
05-27 4208
StableDiffusion默认生成的图片分辨率为512*512，“只可远观，不可近赏”来形容怕是再合适不过了。好不容易抽到了一张自己心仪的图，但苦于颜色暗淡，分辨率低下，有什么办法能在原画的基础上，让它的细节更丰富吗？答案是肯定且简单的。
灵活运用Stable Diffusion放大你的图像
2401_84250575的博客
05-05 1306
文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。众所周知，Stable Diffusion对电脑硬件的要求比较高，为了在图像质量和生成速度之间找到平稳点，我们通常采用的方法是：①文生图：勾选高清修复，让软件自动先生成一个尺寸相对小一点图像，再自动对图像进行放大。②图生图：将原图导入，重新设置放大参数或尺寸，生成新的大图。③附加功能：将原图导入，重新设置放大参数或尺寸，生成新的大图。
Stable Diffusion 入门简明教程
m0_74942241的博客
09-27 2124
Stable Diffusion (以下简称 SD) 是一个文本到图像生成模型, 即通常所说的 AI 绘画Stable Diffusion WebUI 是一个工具包, 为 SD 提供了一个便捷的交互界面本文不需要你有任何基础知识, 如果有步骤不理解, 可以先跟着做, 先用起来再回头理解。
stable diffusion 模型controlnet
01-17
### Stable Diffusion ControlNet Model Usage and Implementation #### Overview of ControlNet Integration with Stable Diffusion ControlNet is a plugin designed to enhance the capabilities of generative models like Stable Diffusion by providing additional guidance during image generation. This allows for more controlled outcomes, such as preserving specific structures or styles from input images while generating new content[^2]. #### Installation Requirements To use ControlNet alongside Stable Diffusion, ensure that all necessary dependencies are installed. The environment setup typically involves installing Python packages related to deep learning frameworks (e.g., PyTorch), along with libraries specifically required for handling image data. For instance, one can set up an environment using pip commands similar to those found in Hugging Face's diffusers repository: ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117 pip install transformers accelerate safetensors datasets ``` Additionally, clone the relevant repositories containing both `stable-diffusion` and `controlnet` implementations: ```bash git clone https://github.com/huggingface/diffusers.git cd diffusers/examples/community/ git clone https://github.com/Mikubill/sd-webui-controlnet.git ``` #### Basic Workflow Using ControlNet The workflow generally includes preparing inputs suitable for conditioning purposes within the diffusion process. For example, when working on edge detection tasks, preprocess your source material into formats compatible with what ControlNet expects – often grayscale images representing edges extracted via Canny filters or other methods. Here’s how you might implement this step programmatically: ```python from PIL import Image import numpy as np import cv2 def prepare_canny_edges(image_path): img = cv2.imread(image_path) gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) edges = cv2.Canny(gray, 100, 200) # Convert back to RGB format expected by some pipelines edged_img = cv2.cvtColor(edges, cv2.COLOR_GRAY2RGB) return Image.fromarray(edged_img.astype('uint8'), 'RGB') ``` Afterwards, integrate these processed inputs directly into the pipeline configuration provided by either custom scripts derived from community contributions or official examples available through platforms like GitHub. #### Advanced Customization Options Beyond basic integration, users may explore advanced customization options offered by developers who have extended functionalities beyond initial designs. These enhancements could involve modifying architectures slightly differently than originally proposed or incorporating novel techniques aimed at improving performance metrics across various benchmarks. One notable advancement comes from research efforts focused on depth estimation problems where researchers introduced Depth-Anything—a robust single-view depth prediction framework capable of producing high-quality results under diverse conditions without requiring extensive retraining processes per dataset encountered[^3]. Such advancements indirectly benefit projects involving conditional GANs since better quality auxiliary information leads to improved final outputs. --related questions-- 1. How does integrating multiple types of conditioners affect the output diversity in generated images? 2. What preprocessing steps should be taken before feeding real-world photographs into ControlNet-enhanced models? 3. Can pre-trained weights from different domains improve cross-domain adaptation performances significantly? 4. Are there any limitations associated with current versions of ControlNet regarding supported modalities?
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值