Datawhale AI夏令营第四期 魔搭-AIGC方向 task03笔记

  大家好，我是Detawhale AI夏令营第四期 的学习者，这已经是最后一个task了。通过这些天的学习，十分高兴自己基本完成了任务，但是实话说，自己不是很了解。基本上都是按照学习手册一点点的尝试，才勉强完成，希望我在后面的学习能够理解。

一：准备工作

在学习手册上有详细的准备工作这里我就大概复述主要部分。

1.认识ComfyUI

GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。

ComfyUI 是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。

重要的是：核心模块由模型加载器、提示词管理器、采样器、解码器。

2：在文档中的一张流程图我觉得有助于理解如下：

3.最后就是安装ComfyUI

这个文档里面很详细就不再说。

二：熟悉流程加Lora微调

LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整，使其能够适应特定的任务或领域，同时保持良好的泛化能力和较低的资源消耗。这对于推动大规模预训练模型的实际应用至关重要。

这个手册里面都有我这里主要说说一些注意事项和解决方法。

1.注意在运行时出错的问题

这个问题很正常，

1.怎么找自己LORA文件的地址？

其实在手册里面写了黄字里面。

2.这里的ComfyUI和task1&2 执行结果有什么区别？

可以说是循序渐进的。如果是夏令营后续还想进行这方面的学习和应用，我更推荐像WebUI、ComfyUI这些相对来说比较成熟的低代码交互界面。

三：完成作品

明确你的需求和目标

• 关注应用场景：确定你的模型将被应用到什么样的场景中（例如，艺术风格转换、产品图像生成、医疗影像合成等）。

• 关注数据类型：你需要什么样的图片？比如是真实世界的照片还是合成图像？是黑白的还是彩色的？是高分辨率还是低分辨率？

• 关注数据量：考虑你的任务应该需要多少图片来支持训练和验证。

数据集来源整理

我的作品主要是一只精致的小猫。

当我们进行图片生成相关的工作时，选择合适的数据集是非常重要的。

这里我设置了相关的参数，

比如白灰色的猫，

眼睛的颜色，

背景的颜色，

嘴巴闭合。

耳朵大小，

等这些和task2的一致。

暂时这么多心得。