Datawhale AI 夏令营2024第四期方向1AIGC Task3粗略描述

Datawhale AI 夏令营2024第四期方向1AIGC Task3粗略描述

前言

再一次的，描述。我并不擅长诸类事物，因此，我仅能凭借自己薄弱所见所闻、所知所想来编写这段笔记。若出现可笑错误，还请各位可以点出，若能消耗些时间的话。

第一部分：Task3的两部分

我们看得出来，Task3由使用ComfyUI界面进行文生图和再一次潜入LoRA微调中。
前者对应的是推理部分，后者对应的是训练部分（当然我不是说训练就没有使用ComfyUI的，只不过这里没有提到）。

第二部分：ComfyUI在推理中的使用

或者说，最常用的，不是直接在代码中进行修改，也不是ComfyUI界面，而是NovelAI、秋叶整合包小白模式那样的界面。但我们也知道，秋叶整合包之后也支持了ComfyUI的工作流界面，这一定有他的原因。
ComfyUI初看，确实比另外两个更加令人敬畏，但是它是工作流——对于新手，有助于理解推理的方法和顺序；对于熟手，这拼图一般的更加适合生成更高质量的图片。
以及，直接使用了Datawhale官方示例的各位，在运行时或许会看见一直在运行中而没有去关注——但实际上，当它最后跳出一个ComfyUI的URL时，就已经可以开始使用了。而多余的等待只会留下一句“超时”（但是依旧不是报错）以及对算力的无端消耗。
第一次打开ComfyUI界面和第一次生图都会有一段等待时间，请稍安勿躁。

第三部分：LoRA模型，又一次见面

至于LoRA模型的简介与优势，我在Task1内已经简单说过，这里也便不再复述。
单有LoRA模型，那也是不够的。对于一个推理来说，最根本的还是Checkpoint模型，连AVE模型都只是锦上添花。当然，想要一个对应的风格、人物，那么当然是LoRA模型更占上风。当然，LoRA模型和AVE以及其他的模型一样，都是锦上添花的。
原先的训练集，以及它们训练出来的LoRA模型，对于大部分人来说，应该是还不满意的。我们需要自己去更改训练集，以及一些参数。
参数的含义和数据集获取的事宜也已经在Datawhale上进行了描述

第四部分：额外，文件清理

如果文件太多又无法直接关闭实例清除的话，一定会有人想着去删除文件夹罢（至少我是），结果会发现不是空的不给你删。那么请使用rm -r xxx（文件名，也可以是文件夹名）来进行清除，还君一个干净的环境。注意，需要删除的文件与你目前所在是在同一个目录下。

rm -r xxx

第五部分：来源

Datawhale 2024/4/1/3文档：Datawhale (linklearner.com)
LoRA微调：通俗易懂理解全量微调和LoRA微调_哔哩哔哩_bilibili