[Stable Diffusion]ip-adapter：SD也可以垫图了，一张图复刻lora效果

Controlnet更新的v1.1.4版本新预处理ip-adapter，这项新能力简直让stablediffusion的实用性再上一个台阶。这些更新将改变sd的使用流程。

ip-adapter是什么？

ip-adapter是腾讯Ai工作室发布的一个controlnet模型，可以通过stable
diffusion的webui使用，这个新的功能简单来说，他可以识别参考图的艺术风格和内容，然后生成相似的作品，并且还可以搭配其他控制器使用。可以说SD已经学会临摹大师的绘画并且运用到自己的作品上了。

腾讯ai实验室 论文资料：https://ip-adapter.github.io/

IP-adapter的github地址（文末可自行扫描获取）

2.ip-adapter生成效果

官方对ip-adapter进行了测试，如下图，第一列是输入的图片参考，第二列是输入的其他控制参数。最后一列是使用ip-
adapter生成的效果，看测试效果能明显看出，ip-adapter的方法不仅在图像质量方面优于其他方法，而且生成的图像与参考图像更好地对齐。

ip-adapter使用SD1.5的模型效果明显优于SDXL模型的效果，不知道是不是由于官方训练时使用的基本都是SD1.5模型的原因。

3.ip-adapter如何使用？

首先，我们打开webui界面，在controlnet选择ip-
adapter，选择一张参考图，我上传了原神八重神子，然后，我们选择一个和参考图片风格类似的二次元大模型，调整预处理器和图片尺寸，最后点击生成按钮。

生成效果对比：

从生成图可以看到人物的形象，姿态复刻得很接近了。

再使用卡通头像作为试验：受大模型以及提示词影响，相识度略有下降。

4.如何在SD WEIUI 下载使用ip-adapter呢？

环境要求：

1.将本地的stable diffusion整合包（比如秋叶版本的）webui的版本更新到v1.6。

2.将controlnet更新到v1.1.4之后的版本。

controlnet模型安装：准备好环境之后，需要下载controlnet最新的ip-adapter模型， 放到stable-diffusion-
webui根目录\extensions\sd-webui-controlnet’models。

5.ip-adapter出现错误，如何解决？

检查webui版本是否是v1.6及以后的版本。

controlnet的ip-adapter模型是否安装并启用。

如果未安装，请使用上方的网盘链接进行下载。

3.检查webui根目录\extensions\sd-webui-controlnet\annotator\downl oads\clip_vision
目录里有没有这两个模型：【clip_g.pth】【clip_h.pth】

4.如果以上都不能解决问题，请更新一下pytorch版本。打开启动器，在“高级选项”-“环境维护”-选择至少torch2.0.0版本及以后的版本安装更新。

总结，在人物形象和画风复刻的2个层面上，ip-
adapter的效果可圈可点。优势就是不需要训练lora，能达到基本的一致性效果。在商业应用层面，可以精准捕捉客户对整体氛围的需求，快速生成AI效果图供客户选择。

但由于AIGC刚刚爆火，网上相关内容的文章博客五花八门、良莠不齐。要么杂乱、零散、碎片化，看着看着就衔接不上了，要么内容质量太浅，学不到干货。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》，相信大家会对AIGC有着更深入、更系统的理解。

有需要的朋友，可以长按下方二维码，免费领取！

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去，那么我的使命也就完成了：

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合，通过使用AIGC工具库，能更加快速，准确的辅助我们学习AIGC

有需要的朋友，可以点击下方卡片免费领取！

精品AIGC学习书籍手册

书籍阅读永不过时，阅读AIGC经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验，结合自身案例融会贯通。

AI绘画视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，科学有趣才能更方便的学习下去。

有需要的朋友，可以长按下方二维码，免费领取！