DataWhale X 魔搭AI夏令营 -进阶上分-实战优化 Task3笔记

    ComfyUI

1.什么是ComfyUI

        ComfyUI 是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术。ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。
2.ComfyUI核心模块

（1）模型加载器

（2）提示词管理器

（3）解码器

（4）采样器

 
3.ComfyUI图片生成流程

4.ComfyUI的优势

（1） 模块化和灵活性

（2）可视化界面

（3）多模型支持

（4）调试和优化

（5）开放和可扩展

（6）用户友好性

5.浅尝ComfyUI

       根据教程一步步操作，最终得到了预想的案例图片。通过ComfyUI的可视化界面，确实能够更清晰直观地构建和管理工作流程，相对于task1，我觉得ComfyUI生成的图片更加精致美观，更贴近我想要的图片效果。不过可能是由于我自身网络的原因，所以ComfyUI生成图片没有想象中的快，并且在最初运行baseline2所用的时长也比较长，花了比较久的时间才得到ComfyUI界面。

 

    Lora微调

1.Lora微调是什么

        LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整，使其能够适应特定的任务或领域，同时保持良好的泛化能力和较低的资源消耗。
2.Lora微调的原理

       LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间，这样它们就可以在不改变模型整体结构的情况下进行微调。在训练过程中，只有这些新增的低秩矩阵被更新，而原始模型的大部分权重保持不变。
3.Lora微调的优势

（1）快速适应新任务

（2）保持泛化能力

（3）资源效率
4.Lora详解-task2中的微调代码
 5.参数详情表

 

        在本次夏令营中，我初次接触到了AI文生图方面的知识，收获了一些非常实用的学习工具，在详细的教程帮助下一步步完成了操作、得到图片结果，真的非常有成就感，感受到了成长和进步。虽然有没有接触过的领域，但是依然收获颇丰，十分感谢夏令营！期待有缘再见！！！