Stable Diffusion 绘画入门教程（webui）-ControlNet(IP2P）

已于 2024-02-23 11:57:43 修改
阅读量1.5k 收藏 9
点赞数 8
分类专栏： Stable Diffusion 文章标签： stable diffusion IP2P 让他变的 图生图 ControlNet
于 2024-02-23 11:57:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyply115/article/details/136252247
版权
本文介绍了如何使用IP2P（InstructP2P）技术在大模型如anything-v5-PrtRE.safetensors上进行图生图操作，通过添加提示词如makeitfire实现特定效果，并指导了基础参数设置和启用ControlNet的步骤，鼓励读者发挥创意尝试更多变体。
摘要由CSDN通过智能技术生成

上篇文章介绍了深度Depth，这篇文章介绍下IP2P（InstructP2P）, 通俗理解就是图生图，给原有图加一些效果,比如下图，左边为原图，右边为增加了效果的图：

在这里插入图片描述

文章目录

玩法流程和之前一样哦

一、选大模型

我这里用的大模型是"anything-v5-PrtRE.safetensors",选用不同模型生成效果会有区别，可以自己找喜欢的风格的大模型使用

在这里插入图片描述

二、写提示词

这个ip2p比较特殊，需要提示词中加：make it xxx（意思是让它变的xx）
我这里是让它着火（make it fire）,是的，提示词就 make it fire 就出来刚才的效果哦
在这里插入图片描述

三、基础参数设置

基础参数设置还是和上篇文章一样，除了长宽，其他我都默认的，这里大家可以自行调试。

长宽可以通过ControlNet中的那个回传按钮回传过来，不用手动填写哦。

在这里插入图片描述

在这里插入图片描述

四、启用ControlNet

到这里，大家应该比较熟了，我就直接上图了，这个不用选择预处理器，选择IP2P后只有模型会自动加载

在这里插入图片描述

点击生成就可以啦

在这里插入图片描述

其他玩法，比如让他变成蜘蛛侠，让他变成钢铁侠，让他变成冬天等等都是可以的，大家自己去发挥脑洞吧

wyply115
关注
专栏目录
Stable Diffusion WebUI 控制网络 ControlNet 插件实现精准控图-详细教程
水滴的博客
04-17 9496
ControlNet（控制网络）是一种先进的神经网络架构，它为基于扩散模型的 AI 绘画流程引入了精确的控制机制。通过整合额外的条件约束，ControlNet 显著增强了图像生成的可预测性和指导性。在 ControlNet 的辅助下，用户能够对生成的艺术作品进行细致入微的指导，实现对构图、色彩、风格等多维度因素的把控，从而满足各种复杂场景和个性化需求。这一技术为 AI 绘画领域带来了革命性的突破，使得 AI 绘画能够更好地满足用户的具体需求，成为一种真正的生产力工具。项目链接地址论文。
Stable Diffusion绘画 | ControlNet应用-InstructP2P：随意切换天气
最新发布
Leo-Fighting的博客
08-12 527
通过 InstructP2P 控制器，可以轻松地给同一张图片，制作出不同的场景。
随心玩玩（十三）Stable Diffusion初窥门径
qq_19841133的博客
01-15 3736
Stable Diffusion是一种人工智能（AI）模型，可以根据训练数据创建图像。Stable Diffusion使用的是一种称为潜在扩散模型（LDM）的东西。Stable Diffusion用于根据文本提示生成图像，并使用修复和外部绘制的过程改变现有的图像。参考资料1：参考资料2：参考资料3：不想写的太长，更详细的介绍请查看参考资料ControlNet是一种网络结构，通过添加额外控制条件，来控制出图效果。（官网，适合高玩直接上手）（推荐新手照着做）
『SD』场景变换魔法：InstructP2P控制类型助你一键换天气
weixin_39415598的博客
06-11 333
theme: smartblue 点赞 + 关注 + 收藏 = 学会了 本文简介 InstructP2P 控制类型是 ControlNet 插件中的一个强大功能，InstructP2P 的主要能力是实现场景转换，风格迁移。 先来看看这个例子。 我将绫波丽的形象从她原本身着机甲、在夜空下站着的场景，转换到春意盎然的环境中,四周环绕着绽放的花朵和嫩绿的新叶。 动手操作 实现...
Stable Diffusion基本教程 ：ControlNet控图功能
2401_84830464的博客
05-27 1702
ControlNet 官方模型，最早时候开源的模型只有 depth、hed、normal、scribble、seg、openpose、mlsd、canny 这 8 种，随着这半年的迭代已经更新到 14 种之多
出图效率倍增！47个高质量的 Stable Diffusion 常用模型推荐
ice829的博客
05-14 2564
目前文生图的主流 AI 绘画平台主要有三种：Midjourney、Stable Diffusion、DALL·E。如果要在实际工作场景中应用，我更推荐 Stable Diffusion。
Stable Diffusion系列（二）：ControlNet基础控件介绍
羊城迷鹿的博客
11-01 1290
在下载插件时可以看到，ControlNet 插件的星数遥遥领先，远超其他妖艳贱货。究其原因，是因为其大大增强了使用者对图片生成过程的控制能力，图片的生成同时受到提示词和提示图的影响，使得文生图由抽卡游戏变成了一个更具确定性的创作工具。ControlNet位置位于文生图界面下方，记得要勾选启用，可控类型包括这么点东西：接下来我将以喜闻乐见的熊猫花花为例，演示一下关于ControlNet的高端操作。
Stable Diffusion 绘画入门教程（webui）-ControlNet，覆盖sd中常用的所有控制类型模型，有20多个
02-21
Stable Diffusion 绘画入门教程（webui）-ControlNet，覆盖sd中常用的所有控制类型模型，有20多个
Stable Diffusion WebUI Forge版ControlNet模型资源包下载
02-23
Stable Diffusion WebUI Forge版ControlNet模型资源包下载
Stable Diffusion WebUI扩展sd-webui-controlnet安装教程
满目星辰
11-03 867
ControlNet 和其他基于注入的 SD 控件的 WebUI 扩展。
【Stable Diffusion】在windows环境下部署并使用Stable Diffusion Web UI---通过 Conda
AnChenliang_1002的博客
12-12 1813
Stable Diffusion是当下最强大的AI绘画工具；可本地部署，可切换多种模型，且新的模型和开源库每天都在更新发布，最重要的是免费，没有绘图次数限制；其是一种基于深度学习的文本到图像生成模型，于2022年发布。它能够根据文本描述生成详细的图像，同时也可以应用于其他任务，例如图生图，生成简短视频等。是一个基于Web的用户界面，用于使用Stable Diffusion进行图像生成和其他任务。该Web UI由AUTOMATIC1111开发，并开源上传至Github，也是目前使用最多的WebUI版本。
（2023|CVPR，GPT3 微调，SD，P2P，双条件 CFG）InstructPix2Pix：学习遵循图像编辑说明
qq_44681809的博客
01-22 1265
本文提出根据指令编辑图像：给定输入图像和指令，告诉模型该如何操作，模型按照指令编辑图像。为获得训练数据，结合了两大型预训练模型：一个是语言模型，另一个是文本到图像模型，生成了一个大型的图像编辑示例数据集。
stable diffusion十七种controlnet详细使用方法总结
天风的人工智能博客
11-18 1683
最近不知道发点什么，做个controlnet 使用方法总结好了，如果你们对所有controlnet用法，可能了解但是有点模糊，希望能对你们有用。
Stable Diffusion学习指南【ControlNet下篇】- 超全面控图类型&模型拆解
2401_85116933的博客
06-28 1105
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
controlnet1.1模型和预处理器功能详解（各预处理器出稿对比及对应模型说明）
暂时先用这个名字
04-27 6640
ControlNet 1.1 与 ControlNet 1.0 具有完全相同的体系结构,ControlNet 1.1 包括所有以前的模型，具有改进的稳健性和结果质量,且增加并细化了多个模型。
强大到离谱！硬核解读Stable Diffusion（完整版）
热门推荐
qq_41771998的博客
04-11 1万+
2022年可谓是，上半年有文生图大模型和，下半年有OpenAI的文本对话大模型问世，这让冷却的AI又沸腾起来了，因为AIGC能让更多的人真真切切感受到AI的力量。这篇文章将介绍比较火的文生图模型，Stable Diffusion不仅是一个完全开源的模型（代码，数据，模型全部开源），而且是它的参数量只有1B左右，大部分人可以在普通的显卡上进行推理甚至精调模型。毫不夸张的说，Stable Diffusion的出现和开源对AIGC的火热和发展是有巨大推动作用的，因为它让更多的人能快地上手AI作画。
ICE(Interactive Connectivity Establishment)
aggs1990的专栏
04-07 235
ICE (​ICE（链路）在两个客户端（p2p）之间或客户端和服务器之间提供不可靠的分组传输。本文档概述了ICE是如何实现的，即以下类是如何交互的。cricket::IceTransportInternal-是执行ICE（管理端口、候选端口、发送/接收数据包的连接）的接口。该接口由cricket::P2PTransportChannel实现。andcricket::PortInterface表示一种本地通信机制，可用于创建与其他客户端类似机制的连接。有4种and。
使用 InstructPix2Pix 对 Stable Diffusion 进行指令微调
m0_62396648的博客
06-21 299
通过本文，我们介绍了我们对“指令微调” Stable Diffusion 的一些探索。虽然预训练的 InstructPix2Pix 擅长领会执行一般的图像编辑指令，但当出现更专门的指令时，它可能就没法用了。为了缓解这种情况，我们讨论了如何准备数据集以进一步微调 InstructPix2Pix，同时我们展示了我们的结果。如上所述，我们的结果仍然很初步。但我们希望为研究类似问题的研究人员提供一个基础，并激励他们进一步对本领域的开放性问题进行探索。
stable-diffusion-webui-master怎么启动
09-17
要启动stable-diffusion-webui-master，您需要按照以下步骤进行操作： 1. 首先，确保您的计算机上安装了Node.js和npm。您可以通过在终端中运行以下命令来检查它们是否已安装： ``` node -v npm -v ``` 如果看到版本号，则说明它们已安装。 2. 在GitHub上找到stable-diffusion-webui-master的存储库，并将其克隆到您的计算机上。您可以通过运行以下命令来完成克隆： ``` git clone https://github.com/<用户名>/stable-diffusion-webui-master.git ``` 其中`<用户名>`是您的GitHub用户名。 3. 进入克隆的存储库目录： ``` cd stable-diffusion-webui-master ``` 4. 安装项目的依赖项。使用以下命令来运行npm安装： ``` npm install ``` 5. 安装完成后，您可以启动stable-diffusion-webui-master。使用以下命令来启动项目： ``` npm start ``` 6. 这将启动一个本地开发服务器，并在默认端口上启动应用程序。您可以在浏览器中访问`http://localhost:3000`来查看应用程序的运行情况。 现在，stable-diffusion-webui-master应该已经成功启动并在您的本地计算机上运行。您可以根据需要进行自定义配置和修改。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值