Datawhale AI 夏令营2024第四期方向1AIGC Task3粗略描述
文章目录
前言
再一次的,描述。我并不擅长诸类事物,因此,我仅能凭借自己薄弱所见所闻、所知所想来编写这段笔记。若出现可笑错误,还请各位可以点出,若能消耗些时间的话。
第一部分:Task3的两部分
我们看得出来,Task3由使用ComfyUI界面进行文生图和再一次潜入LoRA微调中。
前者对应的是推理部分,后者对应的是训练部分(当然我不是说训练就没有使用ComfyUI的,只不过这里没有提到)。
第二部分:ComfyUI在推理中的使用
或者说,最常用的,不是直接在代码中进行修改,也不是ComfyUI界面,而是NovelAI、秋叶整合包小白模式那样的界面。但我们也知道,秋叶整合包之后也支持了ComfyUI的工作流界面,这一定有他的原因。
ComfyUI初看,确实比另外两个更加令人敬畏,但是它是工作流——对于新手,有助于理解推理的方法和顺序;对于熟手,这拼图一般的更加适合生成更高质量的图片。
以及,直接使用了Datawhale官方示例的各位,在运行时或许会看见一直在运行中而没有去关注——但实际上,当它最后跳出一个ComfyUI的URL时,就已经可以开始使用了。而多余的等待只会留下一句“超时”(但是依旧不是报错)以及对算力的无端消耗。
第一次打开ComfyUI界面和第一次生图都会有一段等待时间,请稍安勿躁。
第三部分:LoRA模型,又一次见面
至于LoRA模型的简介与优势,我在Task1内已经简单说过,这里也便不再复述。
单有LoRA模型,那也是不够的。对于一个推理来说,最根本的还是Checkpoint模型,连AVE模型都只是锦上添花。当然,想要一个对应的风格、人物,那么当然是LoRA模型更占上风。当然,LoRA模型和AVE以及其他的模型一样,都是锦上添花的。
原先的训练集,以及它们训练出来的LoRA模型,对于大部分人来说,应该是还不满意的。我们需要自己去更改训练集,以及一些参数。
参数的含义和数据集获取的事宜也已经在Datawhale上进行了描述
第四部分:额外,文件清理
如果文件太多又无法直接关闭实例清除的话,一定会有人想着去删除文件夹罢(至少我是),结果会发现不是空的不给你删。那么请使用rm -r xxx(文件名,也可以是文件夹名)来进行清除,还君一个干净的环境。注意,需要删除的文件与你目前所在是在同一个目录下。
rm -r xxx
第五部分:来源
Datawhale 2024/4/1/3文档:Datawhale (linklearner.com)
LoRA微调:通俗易懂理解全量微调和LoRA微调_哔哩哔哩_bilibili