Stable Diffusion基础：ControlNet之图像提示(垫图）

本文给大家分享 Stable Diffusion 的基础能力：ControlNet 之图片提示。

这篇故事的主角是 IP-Adapter，它的全称是 Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models，翻译成中文就是：用于文本到图像扩散模型的文本兼容图像提示适配器，名字很长很拗口，我们只要记住四个字就行了：图像提示，如果还觉得长，那就两个字：垫图。记不住也没关系，下面我会带大家一步步体会它的图片生成能力。

使用过 Stable Diffusion 的同学对提示词的重要程度应该深有体会，无论是文生图还是图生图，我们想要在图片上展现某些元素，都需要编写对应的提示词，有时候为了避免生成一些不想要的东西，我们还需要编写反向提示词。某种程度上可以说提示词就是图片的灵魂。

不过 Stable Diffusion 本身支持的提示词都是文本提示词，文本到图像的映射存在很大的不确定性。而IP-Adapter 可以一定程度上解决这个问题，它提供了一种图像提示的方法，让新生成的图片可以直接使用参考图中的某种主题元素，很多同学也称这个能力为垫图。从描述上看 IP-Adapter 的能力类似 Reference，不过它更高级，最主要的区别就是不用怎么编写提示词。百闻不如一见，先看看官方给的效果图。

IP-Adapter 是一个目前比较新的 ControlNet 类型，是由腾讯AI实验室发布的一个开源项目，项目地址：https://github.com/tencent-ailab/IP-Adapter ，懂技术的同学可以去研究研究。

下面开始我们的使用之旅。

安装

ControlNet 安装

工欲善其事必先利其器，ControlNet 还是先要安装好的，已经安装好的请跳过这一步。

之前的文章已经介绍过相关安装方法，大家请点击这个链接移步过去：ControlNet 安装与基本使用方法

注意需要将 ControlNet 插件升级到 v1.1.410 这个版本，这个版本支持新的 ControlType 类型。

IP-Adapter 安装

使用 IP-Adapter 前，还需要先安装两个预处理器，三个模型。

两个****预处理器：

/extensions/sd-webui-controlnet/annotator/downloads/clip_vision/clip_g.pth

/extensions/sd-webui-controlnet/annotator/downloads/clip_vision/clip_h.pth

三个模型：

/extensions/sd-webui-controlnet/models/ip-adapter_sd15.pth

/extensions/sd-webui-controlnet/models/ip-adapter_sd15_plus.pth

/extensions/sd-webui-controlnet/models/ip-adapter_xl.pth

不方便访问 huggingface 的同学可以通过我整理的资源下载，下载方式见文章最后；或者直接使用 AutoDL 上我发布的镜像：https://www.codewithgpu.com/i/AUTOMATIC1111/stable-diffusion-webui/yinghuoai-sd-webui-fast

基本使用

先选择一个大模型，提示词和反向提示词都不需要填写，采样器和采样部署都使用默认的就行。提示词也可以填写，会产生一些生图效果，后面会有相关介绍，这里先从最简单的开始。

在第一个 ControlNet 单元中上传一张照片，这里以大家都熟悉的蒙娜丽莎为例，这张照片就是用来做图像提示的，别忘了勾选“启用”和“完美匹配像素”。

然后是 IP-Adapter 的几个设置：Control Type 中选中 “IP-Adapter”，预处理器和模型会自动带出，如果没有带出，请检查上一步的模型是否正确安装。

预处理器有两个：

• ip-adapter_clip_sd15：适用于 Stable Diffusion 1.5 模型。
• ip-adapter_clip_sdxl：适用于 Stable Diffusion XL 模型。

模型有三个：

• ip-adapter_sd15：适用于Stable Diffusion 1.5。
• ip-adapter_sd15_plus：适用于 Stable Diffusion 1.5，更细粒度的提示，生成图片和原画更接近。
• ip-adapter_xl：适用于 Stable Diffusion XL。

然后点击生成就可以了，我这里对你了几个模型，大家看看效果。

主体的长相、表情、发型、衣着、姿态和参考图都挺像的，背景也基本都是相同的内容，只是不同的大模型也会有大模型各自的特色。

到这里大家应该能感受到 IP-Adapter 的图像提示能力了。

用途示例

更换主体的形态

这种方法是将图像提示应用到某个新的结构中，这需要再增加一个Control Type 用于控制图片的结构。

这个演示在文生图中进行，还是不需要填写任何提示词，第一个 ControlNet 单元选择 IP-Adpater，用作新生成图片的提示。

第二个 ControlNet 单元是 Depth，他将从图片中提取深度信息，用于控制图片的结构。

生成图片的效果如下：

除了 Depth，我们也可以使用 Canny、Lineart、SoftEdge、OpenPose 等来控制图片中的元素结构。

这里给出一个使用 IP-Adapter + OpenPose 的出图效果，人物的外形来源于参考图，姿势是 OpenPose 控制的。有了这个我们就可以在保持小姐姐外形不变的情况下，灵活的摆出各种姿势了，这对于绘本故事、小说推文一类的比较有意义。

替换主体到目标图中

在图生图页面中，选择“局部绘制”，上传一张图片，我们要把她的面部替换掉，这里用局部绘制自带的涂抹工具把脸涂上。

ControlNet 单元这里还是要启用 IP-Adapter，上传一张要换脸的参考图。

最终处理效果：

改变画面元素

这里需要使用 文本提示+图像提示 一起发挥作用。看下面这个例子，在图生图中，给图片人物增加一顶帽子，同时背景设置为海滩。

ControlNet 单元中不需要再设置参考图，因为我们要修改的就是当前要图生图的图片，另外下边这个控制权重可以根据实际需要调整下，这里需要调整的小一些，问题提示词的作用才更明显。

看效果：

融合主体到画面中

这里以著名的坤图为例。还是在图生图中，这里不需要提示词，上传一张要融合到图像提示生成画面的图片。

注意重绘强度，太低了，人物融合不到图片中，太高了画面中看不出来人物的形态，根据经验，从 0.55 开始比较方便调整。

ControlNet 这里上传一张参考图，新生成的图片要按照它的提示进行处理。

看一下生成效果：

再看这张戴珍珠耳环的少女：

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍代码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入门stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】