AI绘画SD中 ControlNet 组件 IP-Adapter 实现风格迁移，AI绘画垫图神器！

大家好，我是画画的小强

今天给大家介绍一下AI绘画SD中ControlNet 的 IP-Adapter 组件，该组件可以方便快捷的帮我们对图片的风格进行迁移，简而言之就是可以参考你放置的图片风格来生成其他图片。

它的效果和reference only有点类似，但是效果要更好一些。

下面是原理图，官方详细文档详见：https://github.com/tencent-ailab/IP-Adapter

简单的说， IP-Adapter是使用图像作为输入提示来生成图像，它还能与文本提示、ControlNet模型一起配合完成图像的生成。

想要使用这个 IP-Adapter，你ControlNet要升级到1.1.4后才支持。

1、模型下载

下载下面圈中的这2个模型都行，更推荐使用带plus的。

模型下载：https://huggingface.co/lllyasviel/sd_control_collection/tree/main
（如无法下载，请看下方扫描免费获取哦）

然后存放到 \sd-webui-aki-v4.2\extensions\sd-webui-controlnet\models 下面

然后模型预处理下载，正常controlnet启用IP_Adapter的时候，系统会自动下载 clip_g.pth这个预处理器，2.3G大小，网络不好的同学估计无法下载成功，这里同样扫描后免费提供给大家

下载下来后放到 sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator\downloads\clip_vision

2、使用教程

这里整理一下常用的几种使用场景。

• 局部重绘+参考图

• 文生图两种controlnet结合

• 文生图描述词+参考图

---

2.1 局部重绘+参考图

这里我们尝试把一张美女图的脸，换成参考图的试试效果，首先先在局部重绘里面把脸吐掉

然后开启一个controlNet，选择使用 IP-Adapter即可。

提示词简单来一段通用的描述

best quality,masterpiece,best quality,masterpiece,realistic,HDR,UHD,8K,best quality,realistic,1girl,

最终生成图片对比，效果杠杠滴~

可以看到，权重0.7的时候，人的脸是正对着我们，这里比较接近原图效果，改成1的时候，就有点侧脸了，接近参考图的角度，再往后1.5的话，效果就不大好了，所以建议权重开到0.7-1之间即可。

2.2 文生图两种controlnet结合

下面是几个contrlnet案例，都是启用了2个，第一个是风格参考图，使用ip-Adapter，第二个使用深度 Depth

效果对比如下，可以看到风格确实有参考到~

现在试试建筑风格迁移效果

首图也是参考的风格图用ip-Adapter,第二图使用MLSD来限制构图，可以看到生成出来的图都会有第一张图的分隔，确实很不错。

2.3 文生图描述词+参考图

这里我们把沙发当作参考，然后提示词加上一个女孩坐在沙发上，来看看这个沙发风格是否会参考首图

还不错，虽然款式不大一样，但是确实是有参考了首图

这一组美女当参考图，让她戴上眼镜以及再加上帽子，风格还是很一致的

好了，这就是IP-Adapter的使用教程，controlnet还没有升级到1.1.4的小伙伴抓紧升级体验，controlnet真的撑起了SD的半壁江山。

上面使用的还是基于SD1.5的，另外IP-Adapter也支持最新的SDXL模型，有兴趣的可以自己体验。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除