Datawhale X 魔搭 AI夏令营 第四期 Task3：进阶上分-实战优化

        本次的任务是了解Lora微调的基本原理，来实现一个更好的效果，并且学习使用文生图的工作流平台ComfyUI。

---

• ComfyUI

1.什么是ComfyUI

        ComfyUI 是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术。ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。

2.ComfyUI核心模块

（1）模型加载器

 

（2）提示词管理器

 

（3）解码器

 

（4）采样器

 

3.ComfyUI图片生成流程 

4.ComfyUI的优势

（1） 模块化和灵活性

（2）可视化界面

（3）多模型支持

（4）调试和优化

（5）开放和可扩展

（6）用户友好性

5.浅尝ComfyUI

       根据教程一步步操作，最终得到了预想的案例图片。通过ComfyUI的可视化界面，确实能够更清晰直观地构建和管理工作流程，相对于task1，我觉得ComfyUI生成的图片更加精致美观，更贴近我想要的图片效果。不过可能是由于我自身网络的原因，所以ComfyUI生成图片没有想象中的快，并且在最初运行baseline2所用的时长也比较长，花了比较久的时间才得到ComfyUI界面。

 

 

---

• Lora微调

1.Lora微调是什么

        LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整，使其能够适应特定的任务或领域，同时保持良好的泛化能力和较低的资源消耗。

2.Lora微调的原理

       LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间，这样它们就可以在不改变模型整体结构的情况下进行微调。在训练过程中，只有这些新增的低秩矩阵被更新，而原始模型的大部分权重保持不变。

3.Lora微调的优势

（1）快速适应新任务

（2）保持泛化能力

（3）资源效率

4.Lora详解-task2中的微调代码

 5.参数详情表

        对于Lora微调方面的知识我还不是很理解，在之后学习中还需要借助本次夏令营给出的学习手册和大语言模型（通义千问等）来加深对这方面知识的学习，并试着不断去操作、调整模型，得到更好的效果。

        在本次夏令营中，我初次接触到了AI文生图方面的知识，收获了一些非常实用的学习工具，在详细的教程帮助下一步步完成了操作、得到图片结果，真的非常有成就感。