大家好我是小王同学!!
SD AI绘画是一款强大的图像生成工具,而WebUI FreeU插件则是提升出图质量的绝佳选择。本文将介绍SD AI绘画与WebUI FreeU插件的结合使用,以及如何利用这款插件提升您的出图质量,即使是插件小白也能轻松掌握。
一、FreeU是个啥?
FreeU是由南洋理工提出扩散模型增强方法。是一种无需付出任何代价就能大幅提高扩散模型样本质量的方法:无需训练、无需引入额外参数、无需增加内存或采样时间。这正像项目介绍中所描述,FreeU就是为大家提供Diffusion U-Net 中的免费午餐。
项目地址:
机器学习界里一个既深刻又接地气的“金句”——“没有免费的午餐定理”,这个定理告诉我们:没有一种机器学习算法是适用于所有情况的,简单来说就是在构建算法时,有得必有失。听起来是不是像常说的那句“天下没有白吃的午餐”?没错,在算法的世界里也是同理:别指望有一种万能钥匙能打开所有锁,每种机器学习算法都有它的“甜蜜区”和“雷区”。
但FreeU怎么就能提供Diffusion U-Net 中免费午餐呢?FreeU发现一种策略,即在模型的扩散推理阶段,设计了两个专门的调制因子,其中一个因子称为backbone特征因子,用来放大backbone的特征图效应,从而加强去噪过程,同时为了防止去噪带来的过度纹理平滑,第二个因子被设计为跳连特征缩放因子,用来进行权衡调节。
是不是有点难理解,再简单些来说是这个策略找到了出图过程中的“窍门”,通过提升“backbone特征(b1,b2)”可以在迅速提升出图质量,与此同时画面会失衡比如往往会偏暗过饱和等,此时配合调低“跳连特征缩放因子(S1,S2)”,会使画面整体更加顺滑。
****最适合的参数并不固定,对于不同的图像和模型,还需要我们自己调整适应。
项目介绍中,官方也给了一些通用场景参数参考:
喜欢深度了解的可以查看官方论文:
论文名称:FreeU: Free Lunch in Diffusion U-Net
链接:https://arxiv.org/abs/2309.11497
关于理论性的内容老徐在这里就不做过多描述了,喜欢的朋友可以查看上面的论文,下面我们进入今天的主要环节,在WebUI中安装使用FreeU插件,当然喜欢用ComfyUI的朋友们也可以使用FreeU工作流来进行体验。我们来看看这个效果到底如何呢?
二、插件的安装
WebUI FreeU插件地址: (需要的同学可以自行获取)
-
可手动通过项目地址下载压缩包,并修改解压后的文件夹名称为“/sd-webui-freeu”
-
直接通过整合包下载安装,在整合包的版本管理中选择安装新扩展页签,在底部的扩展URL输入框中输入“https://github.com/ljleb/sd-webui-freeu”扩展地址。然后点击安装。
3.安装完成后重启服务,此时就会在WebUI界面中看到FreeU插件的开关了。
三、效果展示
我这里选用的是鼎鼎大名的SD1.5大模型**麦橘写实_v7,**没有的朋友可以通过LibLib平台下载。
模型地址:需要的同学可以自行扫描获取
一起来看下FreeU插件不开启和开启后的对比
提示词: masterpiece,best quality,1girl,((full_body)),fantasy art,a bright evening gown in a sparkling star-light,delicate creature armor,dopamine color,solo,long hair,a slender figure,looking at viewer,((half-body)),lips,bare shoulders,explosion effects,self-luminous,masterpiece,best quality,1girl,solo,long hair,black hair,lips,bare shoulders,parted lips,explosion effects,self-luminous,iridescence:1.2,jewelry,long hair,
提示词: 1girl,curly hair,in the dark,deep shadow
提示词: 1girl,solo,long hair,food,sweater,holding food,hair bow,blurry,blurry background,looking at viewer,holding,realistic,sleeveless,brown hair,upper body,braid,lips,bare shoulders,yellow bow,white sweater,eating,brown eyes,off shoulder,bangs,depth of field,
提示词:(RAW photo, 4k, realistic, exquisitely detailed skin),masterpiece,best quality,unity 8k wallpaper,ultra detailed,cinematic look,natural skin texture,extremely realistic skin texture,finely detailed face,(film grain:1.2),cinematic angle,Fujifilm XT3,(highlydetailed),(night scene),(street corner),(1girl),(detailed lighting),(contrast),(mysterious atmosphere),vivid illumination,masterful technique,harmonious composition,immersive atmosphere,stunning visuals,
提示词: bookshelf,building,city,cityscape,cloud,couch,day,no humans,palm tree,plant,potted plant,scenery,signature,sky,tree,window,
提示词:masterpieces,delicate,Silver glass texture future concept car, Glacier, Snow, Aurora,octane render,atmospheric,volumetric lights,Cinematic,unreal engine 5,high-definition 8K, depth of field
以上就是老徐针对文生图过程中的效果对比。老徐觉得在开启FreeU插件后,图片的整体质量效果有着明显的提升。
这个插件不仅仅局限于文生图场景,它可以应用于文生图,图片重绘,动画生成,3D生成都可以很好的增强画面细节和质量,并且几乎没有什么性能损耗。But,如果你选择的模型和采样器等参数设置适当,生成的图片质量效果已经很高的时候,开启FreeU插件后的效果可能不是那么明显。
另外关于FreeU V1和V2,V2版本优化了策略算法,据说可以优化生成速度和质量。
资料软件免费放送
次日同一发放请耐心等待
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。
需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
**一、AIGC所有方向的学习路线**
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】