目录
“天下没有免费的午餐?”
不需要苦思冥想提示词,
不需要一点点调试采样方法,
不需要到处找更好看的模型,
不需要繁杂的节点串联,
甚至几乎不需要更多的运算时间和资源占用。
任何工作流的基础上都可以照此方法提升出图质量。
天下真的有免费的午餐?
——freeU节点&freeU_v2节点讲解。
01
—
FreeU使用介绍
使用效果和原理
先来一张对比图
房子前的地面多了草丛等细节,整体还多了很多自然的阴影
可以看到在使用完全一样的基础提示词,完全一样的采样方法,完全一致的随机种子的情况下。出图的总体质量尤其是细节有了明显的提升。
而区别仅仅是第二个流程在model后增加freeU节点
那么这个节点的参数怎么用呢?原理又是如何的呢?
原理相对学术,我先把原文贴出来:
FreeU发现一种策略,即在模型的扩散推理阶段,设计了两个专门的调制因子,其中一个因子称为backbone特征因子,用来放大backbone的特征图效应,从而加强去噪过程,同时为了防止去噪带来的过度纹理平滑,第二个因子被设计为跳连特征缩放因子,用来进行权衡调节。
简单来说是这个策略找到了出图过程中的“小窍门”,通过提升“backbone特征(b1,b2)”可以在迅速提升出图质量,与此同时画面会失衡比如往往会偏暗过饱和等,此时配合调低“跳连特征缩放因子(S1,S2)”,会使画面整体更加顺滑。
当b1,b2调节过高时的~
但是S1和S2调节对于出图质量并不会有显著区别:
官网例子
对于不同的图像和模型,最适合的参数并不固定,还需要自己调整适应。
官网也给了一些通用场景参数供大家参考:
参数推荐
SD1.4: (will be updated soon)
b1: 1.3, b2: 1.4, s1: 0.9, s2: 0.2
SD1.5: (will be updated soon)
b1: 1.5, b2: 1.6, s1: 0.9, s2: 0.2
SD2.1
b1: 1.1, b2: 1.2, s1: 0.9, s2: 0.2
b1: 1.4, b2: 1.6, s1: 0.9, s2: 0.2
SDXL
b1: 1.3, b2: 1.4, s1: 0.9, s2: 0.2 SDXL results
Range for More Parameters
When trying additional parameters, consider the following ranges:
-
b1: 1 ≤ b1 ≤ 1.2
-
b2: 1.2 ≤ b2 ≤ 1.6
-
s1: s1 ≤ 1
-
s2: s2 ≤ 1
02
—
使用技巧和总结
1. 如何快速找到适合自己的参数?
可以先调整到全1参数:
这时你会发现生成的图像和原图一样,这时再上下调节b,s参数就比较容易找到适合自己的参数啦
2. 这个模型是万能的吗?
是万能的,在任何场景,比如文生图,图片重绘,动画生成,3D生成都可以很好的增强画面细节和质量,并且几乎没有性能损耗!
但是:
如果你的图像本身由于提示词到位,采样方法适当,出图质量已经很高了,这时再使用这个节点,你会发现效果并不明显。要记住这个节点的原理是“捷径”,当你已经达到了一定的上限时,“捷径”的效果自然就不那么明显了。
可以看到,出图效果并没有明显差距
那么应用场景也很明显了:
在出图前期优化,如还没有明确想法,刚开始调试提示词时。
在批量工具工作流处理时,比如批量替换背景,图片融合修复时等难以精细控制每一张图片效果时,都可以加上这个节点。
3. FreeU 和 FreeU_V2有什么区别?
没有本质区别,FreeU论文作者在隔了一段时间后,更新了他的论文,优化了策略算法,据他说可以优化生成速度和质量。
因此comfyUI的作者也据此做了FreeU_V2节点
关注我,每天一个原创知识点分享,还有官方文档教程翻译持续更新哦。