StableDiffusion作为开源图像生成平台发布至今也有相当长的一段时间了,网络上针对SD也有各种各样的应用,比如我之前写的多篇关于SD的图文利用AI神器——StableSR 让普通图片瞬间变身精美画作;让赫敏唱蔡健雅的歌,毫无违和感,有了reference only,还需要LoRA吗等等,都需要进行各种各样的调参,调整提示词等各种操作,非常不利于生产,也非常不注重交互。
最近ControlNet作者开源了一款基于SDXL1.0的AI画图工具Fooocus,结合了SD和midjourney的优势,无需调整任何参数即可生成你想要的图片,对于生产力的提高有极大的提高。
话不多说,让我们来一探究竟。为了快速演示,我们直接在colab上运行,打开下面的链接
https://colab.research.google.com/github/lllyasviel/Fooocus/blob/main/colab.ipynb
run起来即可
界面如下,相当简洁,没有SD的繁琐的调参界面,只需要像midjourney一样输入prompt即可
我们的提示词as long as you love me
个人觉得和midjourney的风格非常接近了。当然也还有一些进阶的用法,比如风格的调整,比如我们选择风格sai-fantasy-art,带一点魔幻色彩
比如选择sai-anime,动画风格,简直不要太惊艳,这还需要什么lora
当然你也可以运行lora,当lora权重低于0.5的时候,效果比没有lora要好
当lora权重设置为0.4的时候,出图效果更有感觉了
Sampling Sharpness采样清晰度由Fooocus开发,作为SDXL有时会生成过于平滑的图像或具有塑料外观的图像问题的最终解决方案。与Automatic1111的cfg比例等其他参数不同,这种清晰度永远不会影响图像的全局结构,因此易于控制并且不会弄乱事情(如果您使用相同的随机种子)。此选项相对适中,因此图像不太可能过头。当 SDXL 结果过于平滑时,此选项可以解决 90% 的问题。
当然也可以在本地运行,需要自行下载软件包以及模型
首先下载软件包
https://github.com/lllyasviel/Fooocus/releases/download/release/Fooocus_win64_1-1-10.7z
然后下载SDXL模型
https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors
https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors
将下载后的模型放在软件包目录下的models\checkpoints文件夹下即可
需要注意的是,运行的最低要求是4GB Nvidia GPU内存(4GB VRAM)和8GB系统内存(8GB RAM)。这需要使用Microsoft的虚拟交换技术,可以在此处启用它:计算机->属性->高级->性能->高级->虚拟内存->更改->选择自动管理
然后点击run.bat,即可启动,然后登陆http://127.0.0.1:7860/,即可进行如上的操作。
感兴趣的小伙伴赶紧来尝试吧