一文搞懂IP Adapter现在有哪些应用场景？

今天就根据我的实验还有互联网上大家的实践，系统总结下目前IP Adapter可以做的事。

说之前再放一遍论文的图，请记住它的核心功能，就相当于一个图片提示词，让模型参考这张图的一些元素去出图，可配合其他controlnet方式去使用。

具体参考什么元素，光说不行，用实验来说话。

真人出漫画稿

这一个需要使用SD1.5的模型：ip-adapter-plus-face_sd15。

这个模型可以最大限度地参考人脸特征，从而使生成图像中的发型也能够接近原图效果。

以下的设置，就是使用ip adapter的方法，只需要根据SD和SDXL变换预处理模型和模型就可以了，剩下只需要正常写提示词，文生图即可~下面就不赘述这个操作了哈

这时不需要写与原图背景相关的提示词，模型只会保留头部的特征。face-sd15 可以非常精准地抓取面部和发型的细节，同时忽略原图中的其他元素。

连头发丝都给你画得明明白白。

当然也可以选用 ip-adapter_sd15_plus 这个模型，它能把背景和人的穿着都参考到，最大程度还原，经试验， ip-adapter_sd15 不如 plus 准确。

通过对比这几个 ip-adapter 模型，发现对于精准还原发型和表情，还是 face-sd15 模型的效果最佳。

使用这种控制方式时，可以自己尝试调整权重参数，根据生成结果找到最适合的设置阈值。

另外，这种方法也不受原图线稿限制，可以实现不同姿势的生成。

总体来说，与 MJ 相比，face-sd15 控制方式可控性更强，生成效果也更加逼真。

写真风格参考

我经常出人像写真，所以根据最近的实验总结了以下几条功能。

1、不需要费劲想提示词，调整画面光线滤镜，什么滤镜lora都省了。

比如荷叶写真，就尝试参考了妙鸭的胶片风。

原图

不用IPAdapter

用IPAdapter

感觉飘着的头发丝、发丝发光都参考到了啊~

昨天的生日写真也是这么搞的，整个画面的色调和光线都有参考到：气球光影生日写真，偷懒用IP Adapter妆容都参考到了

2、发型、妆容、画面元素都可以参考到。

比如baby的写真，这头发咋写提示词啊？

嘿！用IPAdapter轻轻松松就搬到了，我直呼内行~

这是上次跑的，感觉很惊艳，这次再跑下自己的脸。

还ok，这次模型和上次的不一样，采样器之类的也可能不同，感觉这次色调感觉更接近原图，对比度比较低。

不过也遇到了问题，就是有时刘海会单独出黑色的，或者是嘴巴参考原图太多，嘴唇太丰满了就不像我，解决方法就是调整那个控制权重，可以稍微拉低一点到0.85。

一般我的权重都会更低，到0.5左右。

指定背景风格

一个新鲜出炉的尝试。

今天有个小伙伴问我，AI模特照片想固定背景怎么办，虽然没有特别好的方法，但我想到了ip adapter，或许可以尝试下是否可以实现。

毕竟如果训练lora的话，场景很固定还好，训一个就能约束约束，但想想SD的原理，场景完全一样可不太现实。

今天使用ip adapter后，最后真的有把背景的元素参考进来，但是要实现统一在一个屋子内的背景，还是不容易，建议加一些背景的线条控制出图试试。

如果只输入一个环境图，能不能正常出人像呢？

答案是，权重太高不太行，拉低一点还ok，甚至让我去东方明珠底下去拍照了……

不过这个楼的细节不太有眼看。

其他up主的尝试

娜乌斯嘉尝试的是输入一个Q版漫画，然后输出3D手办：

还尝试了原神角色cos图，让模型迁移衣服，结果很不错，整个cos服饰都参考下来了。

还有就是使用其他姿势去控制出图的案例：

输入

controlnet参考下面的姿势

最后输出

使用不同的大模型，出图效果也不一样，可以看下原论文的实验结果。

想实际把IP Adapter用上，还是要知道原理之后，结合出图需求去看这个是否能满足自己的需求。

比如，写真方向，可以像我一样去找某个写真风格直接垫图出图。

建筑设计方向，使用一张建筑图像，加上直线进行控制，那就能出相应风格的设计图。

绘画方向，找到一个风格的图像稿，就能画出类似风格和配色的图；也可以直接参考人的发型和表情，去出相应的漫画头像。

怎么用还是要自己去多发掘~

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】