Datawhale 2024年AI夏令营的第四期学习活动聚焦于“AIGC”(人工智能生成内容)的前沿领域,第三阶段特别安排了“进阶上分-实战优化”这一课程。课程紧密依托于魔搭社区举办的“可图Kolors-LoRA风格故事挑战赛”(https://tianchi.aliyun.com/competition/entrance/532254)
本篇笔记为第三阶段的笔记
本阶段的学习分为了解ComfyUI的概念及其应用场景、学习LoRA微调、准备数据集。
一、了解ComfyUI的概念及其应用场景
1.1 ComfyUI的概念
ComfyUI是基于稳定扩散算法的节点工作流WebUI。它通过将复杂的稳定扩散过程巧妙地分解为若干个节点,实现了对工作流程的精确控制和高度定制。这种创新不仅使图像生成速度更快,而且大幅降低了显存占用,比起传统的WebUI方案,ComfyUI提供了更高效、经济的解决方案。
图1 界面截图
1.2 ComfyUI的第三方插件
1、Comfyui_Controlnet_Aux(ControlNet辅助预处理器插件)
用于制作ControlNet的提示图像,提供了丰富的预处理节点,包括Canny、Depth、Scribble、Tile、Lineart、Inpaint等等。
2、ComfyUI-Advanced-ControlNet (高级ControlNet节点)
用于跨时间步长和批量潜伏调度 ControlNet 强度,以及应用自定义权重和注意力掩模的节点。这里的 ControlNet 节点完全支持滑动上下文采样,就像ComfyUI-AnimateDiff-Evolved节点中使用的那样 。目前支持 ControlNets、T2IAdapters、ControlLoRAs、ControlLLLite、SparseCtrls 和 SVD-ControlNets。
3、ComfyUI-AnimateDiff-Evolved(Animate动画插件)
AnimateDiff插件是一个用于生成和操作图像的强大工具,它属于Stable Diffusion模型的一个扩展。ComfyUI-AnimateDiff-Evolved改进了ComfyUI 的AnimateDiff集成,以及可在 AnimateDiff 之外使用的被称为“进化采样”的高级采样选项。
4、UltimateSDUpscale (图片终极放大器)
可以无损放大图片的插件,同时配合不同的放大模型还能增强图片细节。
5、ComfyUI-Manager (拓展管理)
ComfyUI-Manager是一个旨在增强ComfyUI可用性的扩展。它提供了安装、删除、禁用和启用ComfyUI 各种自定义节点的管理功能。此外,此扩展提供了集线器功能和便利功能,可以访问 ComfyUI 中的各种信息。
1.3 速通安装ComfyUI
根据学习指示文件的说明进行操作,成功跑通ComfyUI。
图2 界面截图
二、学习LoRA微调
LoRA(Low-Rank adaptation, LoRA)是目前广泛用于训练大型语言模型的一种技术。LoRA提供了一种训练方法,通过减少训练的参数数量,这种方法更快、更容易进行。LoRA引入了两个矩阵A和B,如果参数W的原始矩阵的大小为d × d,则矩阵A和B的大小分别为d × r和r × d,其中r要小得多(通常小于100)。参数r称为秩。如果使用秩为r=16的LoRA,则这些矩阵的形状为16 x d,这样就大大减少了需要训练的参数数量。LoRA的最大的优点是,与微调相比,训练的参数更少,但是却能获得与微调基本相当的性能。
在完成这一部分内容的学习之后,本期夏令营的主要学习内容就大致完成了。之后的学习我还会继续去探索,感谢Datawhale提供的学习支持与资源。
以上为本次Task3学习内容的笔记。