2025最新controlnet详解：reference的使用方法

介绍

本文介绍了Stable Diffusion中【controlNet】Reference的使用方法，帮助用户在AI绘图中实现精准的风格和内容参考。

引用官方对参考的介绍：现在我们有一个 reference-only预处理，它不需要任何控制模型即可实现直接使用一张图片作为参考来引导扩散。

关于reference-only的官方介绍：https://github.com/Mikubill/sd-webui-controlnet/discussions/1236

在我看来这个功能有点类似于Midjourney的垫图，很多controlnet的功能都有垫图的效果

预处理器介绍

由于reference是由算法控制，所以是没有控制模型的只有3个预处理器

reference_adain：仅参考输入图，自适应实例规范。简单来说就生成的图更偏向模型

reference_adain+attn：仅参考输入图，自适应实例规范+Attention链接。这个预处理器相当于另外两个算法的综合。

reference_only：仅参考输入图。这种是最大程度的参考我们的素材图片。一般使用的就是这个预处理器，本文主要介绍的也是这种

使用方法

ControlNet按图片进行配置，Style Fidelity需要设置成1

Style Fidelity (only for “Balanced” mode)是最终要参考图片的一个权重，最小 0 最大1，可以根据需要调整数值；

建议把完美像素也勾上。

提示词简单描绘：一只在草地上奔跑的狗+基础起手式，采样方法使用Euler a。点击生成

可以看到生成的狗和参考图的狗还是比较相似的，特别是面部纹路，但是我们的引导词中没有描述狗的品种、颜色，也没有使用任何lora或者专门训练的底模，这样的生成结果已经达到了预期，当然还是有一定的随机性，可以通过多次生成筛选，或者多次迭代prompt，优化生成结果应该也不难。

这一张是我结合神奈川冲浪里的效果制作的哥斯拉，可以看到哥斯拉的身边的水花还有画面的整体色调都参考了右图，而我提示词只用了哥斯拉一个关键词，并没有多余的控制

我们也可以使用这种方法把真人照片转化为动漫人物

我们只要使用真人的照片，然后配合上动漫风格的模型即可

我们也可以添加提示词来控制人物的表情，比如我添加了生气

以下是RevAnimated模型的效果

生成的结果还是非常相似的，除了眼睛部分有点模糊

此外我们还可以使用reference更换人物的背景或者服装

可以看到人物和原图还是非常相似的，背景替换了，虽然衣服的部分没有处理好，我们也可以换一件衣服试试

以上就是reference的常见用法，感兴趣的小伙伴赶紧也去试试吧

---

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】