Datawhale AI夏令营第四期 魔搭-AIGC方向 task03笔记

        上次的task中主要学习了利用AI工具来精读代码，并且自己制作了一个连环画册，让我们对于文生图结构有一个初步的认识。

        这次的任务主要认识工作流平台工具ComfyUI，以及了解微调的原理，来制作出更加精美的文生图。

认识ComfyUI

核心模块:模型加载器、提示词管理器、采样器、解码器。

具体讲解：2.2ComfyUI应用场景探索_哔哩哔哩_bilibili

ComfyUI生图流程

注意 ：在魔搭中跑完后，不是在魔搭中直接生图，而是要复制链接去浏览器进入下一步

在生成的链接中生图，可以先后用两次工作流样例，即一次普通的，一次带Lora的

资源：

在魔搭使用ComfyUI，玩转AIGC！	https://modelscope.cn/headlines/article/429
ComfyUI的官方地址	https://github.com/comfyanonymous/ComfyUI
ComfyUI官方示范	https://comfyanonymous.github.io/ComfyUI_examples/
别人的基础工作流示范	https://github.com/cubiq/ComfyUI_Workflows
	https://github.com/wyrde/wyrde-comfyui-workflows
工作流分享网站	https://comfyworkflows.com/
推荐一个比较好的comfyui的github仓库网站	https://github.com/ZHO-ZHO-ZHO/ComfyUI-Workflows-ZHO?tab=readme-ov-file

 

认识Lora微调

原理：LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间，这样它们就可以在不改变模型整体结构的情况下进行微调。在训练过程中，只有这些新增的低秩矩阵被更新，而原始模型的大部分权重保持不变。（下面视频讲的更易懂）

https://www.bilibili.com/v/jump-middle-edge/?spm_id_from=888.80997.embed_other.whitelist&bvid=BV1tthPeFEWb&mode=play

Lora的优势 ：快速适应新任务，保持泛化能力，资源效率

高质量数据集

如何准备一个高质量的数据集？

首先明确需求与目标，你的模型要应用到什么场景？你需要什么样的图片？（什么风格？什么格式？什么色调？等）你的任务需要多少图片来支持训练？

数据集来源：

1.公开的数据平台  魔搭社区内开放了近3000个数据集，涉及文本、图像、音频、视频和多模态等多种场景，左侧有标签栏帮助快速导览，大家可以看看有没有自己需要的数据集。

其他数据平台推荐：

• ImageNet：包含数百万张图片，广泛用于分类任务，也可以用于生成任务。

• Open Images：由Google维护，包含数千万张带有标签的图片。

• Flickr：特别是Flickr30kK和Flickr8K数据集，常用于图像描述任务。

• CelebA：专注于人脸图像的数据集。

• LSUN (Large-scale Scene Understanding)：包含各种场景类别的大规模数据集。

 2.使用API或爬虫获取  

1. 如果需要特定类型的内容，可以利用API从图库网站抓取图片，如Unsplash、Pexels等。

2. 使用网络爬虫技术从互联网上抓取图片，但需要注意版权问题。

 3.数据合成

利用现有的图形引擎（如Unity、Unreal Engine）或特定软件生成合成数据，这在训练某些类型的模型时非常有用。

4.数据增强 

对于较小的数据集，可以通过旋转、翻转、缩放、颜色变换等方式进行数据增强。

5.购买或定制

如果你的应用是特定领域的，比如医学影像、卫星图像等，建议从靠谱的渠道购买一些数据集。

本次任务图例：