一、ComfyUI
1、这次课首先介绍了ComfyUI,什么是ComfyUI?
- ComfyUI 主要用于生成图像。它采用基于节点的工作流程,为用户提供更大的控制力和灵活性。用户可以通过连接不同的节点来直观地构建工作流程,并且允许对图像进行高级定制。用户还可以拖放节点、轻松调整参数,并实时查看预览。这使得图像生成过程更加直观和可定制。
- 它不仅可以作为一个图形界面使用,还可以作为一个强大的后端使用,还可以作为插件加入到其他GUI当中。各种好用的工具都可以通过统一的形式加入到这个平台上,如翻译、排版自动抠图等与SD无关的功能,还可以借助一些特殊节点当作PPT来使用。
- comfyUI的核心模块:模型加载器、提示词管理器、采样器、解码器。
- comfyUI的图片生成流程:选择模型-构建工作流-执行生成-调整与优化
2、ComfyUI是GUI的一种,官方给出了四种GUI。
(GUI是一种通过图形元素,如窗口、图标、按钮等与计算机系统进行交互的用户界面。用户可以通过点击、拖动等直观操作来控制计算机。)
- Clip drop(无需注册账户,免费使用):提供文字去除、背景去除与替换、放大、重新打光、物体清楚、草图生成等十多项功能。
- Dream Studio(新账户提供25积分,30步左右的图要1.6积分):提供了画布编辑功能,方便局部填充和扩展绘图。
- Stable Studio:界面和操作和Dream Studio相同,区别在与Stable提供本地算力,可离线使用。
- Stable Swarm:界面与Dream Studio很相似,Stable Swarm是以comfyUI为后端的前端界面,它融合了comfyUI的强大、webUI的舒适,stable studio的质量。
3、很不错第三方开源GUI
- Invoke AI:对重复和扩展很方便
- SD.next:适合多种扩散模型
- Volta ML:操作简单,适合新手
4、第三方在线项目
- SD Online:在线免费网站
- Hugging face:免费使用,但等待时间长,有很多大神提供的模型
- Cat bird AI:一个提示词可以生成一百多种图片,限量免费使用
- Platground AI:限量免费,一天1000张
二、体验ComfyUI
在魔搭社区中体验:
https://www.modelscope.cn/my/mynotebook/authorization
1、下载脚本文件
2、下载comfyUI
3、下载好后复制链接到浏览器
出现这个界面
4、生成图片(需要导入文件Load),不带Lora和带Lora
三、Lora微调
1、全量微调:找出每个参数,然后微调
2、Lora微调:用更少的资源进行微调
- 找出最有价值的信息
3、这是夏令营的老师整理的参数表
四、数据集
生成图片需要合适的数据集,数据集的平台有:
魔搭社区、ImageNet、Open Images、Flickr、CelebA、LSUN等