Datawhale X 魔搭 第四期AI夏令营-AIGC方向 task3笔记

  最后一个阶段——task3，本次AI夏令营终于也是要完结了，那么话不多说让我们直接进入笔记部分吧。本次的学习内容是:ComfyUI和Lora微调的讲解

Part 1：Hello ComfyUI

  什么是ComfyUI呢？根据学习手册的介绍，它是主流GUI的其中一种，GUI的意思是"Graphical User Interface"（图形用户界面），也就是一种人机交互方式，可以理解为转为AI生图所设计的特种UI。那么我们使用ComfyUI的目的就很明显了——它可以辅佐我们对AI生图做出更多细节的调整，而不必面对整串整串的代码犯晕。

  那么ComfyUI具体而言是如何运作的呢？我们在这里引用一下学习手册中提供的图解

   可以看到它的运行流程与我们先前直接在PAI实例中尝试文生图的流程是大差不差的，不过这也正说明了它只起到便于操作的作用，毕竟只是一种UI嘛。拿编程来举例的话，你可以直接用记事本来写程序，但用vsc之类来写的更加先进便利。

  好了，现在再让我们来一窥ComfyUI的真面目吧

  呜哇，黑漆麻乌的，还全是英文，也不怎么很好看嘛

  不管如何，这就是ComfyUI,你可以在其中进行各种操作，来生成你想要的图案

………………我是分割线…………………

收回来，ComgyUI的内核到底是什么呢？我认为b站up-Zho-说的很好

                                                           （BV1ch4y1B7vp）

  ComfyUI 其实就像搭积木一样，是由最基础的部分一步一步搭建上来的，这里继续给出视频截图

  通过这张图，我们可以直观地感受到ComfyUI的基础框架。其实有很多程序也以类似的框架搭建的，或许某天我们在学习编程的过程中，也会遇见类似的项目。

Part2：Lora微调

  关于Lora：说实在的我现在也不是很懂Lora是怎样运转的。如果不强求理解的话，我们只需要把它当做是文生图精细化的组件就好了。

  学习手册中列出了Lora微调的三点优势：

1.快速适应新任务

在特定领域有少量标注数据的情况下，也可以有效地对模型进行个性化调整，可以迅速适应新的领域或特定任务。

2.保持泛化能力

LoRA通过微调模型的一部分，有助于保持模型在未见过的数据上的泛化能力，同时还能学习到特定任务的知识。

3.资源效率

LoRA旨在通过仅微调模型的部分权重，而不是整个模型，从而减少所需的计算资源和存储空间。

  还介绍了一些相关参数，以及UNet、VAE和文本编码器三者间的协作关系。这些内容都挺抽象的，比较难理解，这里就不多介绍了。

  在Lora的最后一小节，学习手册向我们介绍了如何获取高质量的数据集（也就是去找各种图片炼丹啦）。其中比较方便的是用爬虫去各类图站获取，不过当然的，关于图片的权益问题很难保证，这也是AI生图面临的一个难题。

结语：

  到这里，本期夏令营的打卡任务就结束了，啊，感觉心情像写完暑假作业般舒畅（不对吧为什么大学前的暑假还要写暑假作业啊！）总之有关AIGC的大部分内容都挺有趣的，相信学到的这些东西必可活用于下次。那么就此打住。