Datawhale X魔搭 AI夏令营 第四期 AIGC方向 task03笔记

一、ComfyUI

    1、这次课首先介绍了ComfyUI，什么是ComfyUI？

• ComfyUI 主要用于生成图像。它采用基于节点的工作流程，为用户提供更大的控制力和灵活性。用户可以通过连接不同的节点来直观地构建工作流程，并且允许对图像进行高级定制。用户还可以拖放节点、轻松调整参数，并实时查看预览。这使得图像生成过程更加直观和可定制。
• 它不仅可以作为一个图形界面使用，还可以作为一个强大的后端使用，还可以作为插件加入到其他GUI当中。各种好用的工具都可以通过统一的形式加入到这个平台上，如翻译、排版自动抠图等与SD无关的功能，还可以借助一些特殊节点当作PPT来使用。
• comfyUI的核心模块：模型加载器、提示词管理器、采样器、解码器。
• comfyUI的图片生成流程：选择模型-构建工作流-执行生成-调整与优化

2、ComfyUI是GUI的一种，官方给出了四种GUI。

（GUI是一种通过图形元素，如窗口、图标、按钮等与计算机系统进行交互的用户界面。用户可以通过点击、拖动等直观操作来控制计算机。）

• Clip drop（无需注册账户，免费使用）：提供文字去除、背景去除与替换、放大、重新打光、物体清楚、草图生成等十多项功能。
• Dream Studio（新账户提供25积分，30步左右的图要1.6积分）：提供了画布编辑功能，方便局部填充和扩展绘图。
• Stable Studio：界面和操作和Dream Studio相同，区别在与Stable提供本地算力，可离线使用。
• Stable Swarm：界面与Dream Studio很相似，Stable Swarm是以comfyUI为后端的前端界面，它融合了comfyUI的强大、webUI的舒适，stable studio的质量。

3、很不错第三方开源GUI

• Invoke AI：对重复和扩展很方便
• SD.next：适合多种扩散模型
• Volta ML：操作简单，适合新手

4、第三方在线项目

• SD Online：在线免费网站
• Hugging face：免费使用，但等待时间长，有很多大神提供的模型
• Cat bird AI：一个提示词可以生成一百多种图片，限量免费使用
• Platground AI：限量免费，一天1000张

二、体验ComfyUI

在魔搭社区中体验：

https://www.modelscope.cn/my/mynotebook/authorization

1、下载脚本文件

2、下载comfyUI

 

 3、下载好后复制链接到浏览器

出现这个界面 

 4、生成图片（需要导入文件Load），不带Lora和带Lora

 

三、Lora微调 

1、全量微调：找出每个参数，然后微调

2、Lora微调：用更少的资源进行微调

• 找出最有价值的信息

3、这是夏令营的老师整理的参数表

四、数据集 

生成图片需要合适的数据集，数据集的平台有：

魔搭社区、ImageNet、Open Images、Flickr、CelebA、LSUN等