上次的task中主要学习了利用AI工具来精读代码,并且自己制作了一个连环画册,让我们对于文生图结构有一个初步的认识。
这次的任务主要认识工作流平台工具ComfyUI,以及了解微调的原理,来制作出更加精美的文生图。
认识ComfyUI
核心模块:模型加载器、提示词管理器、采样器、解码器。
具体讲解:2.2ComfyUI应用场景探索_哔哩哔哩_bilibili
ComfyUI生图流程
注意 :在魔搭中跑完后,不是在魔搭中直接生图,而是要复制链接去浏览器进入下一步
在生成的链接中生图,可以先后用两次工作流样例,即一次普通的,一次带Lora的
资源:
在魔搭使用ComfyUI,玩转AIGC! | https://modelscope.cn/headlines/article/429 |
ComfyUI的官方地址 | https://github.com/comfyanonymous/ComfyUI |
ComfyUI官方示范 | https://comfyanonymous.github.io/ComfyUI_examples/ |
别人的基础工作流示范 | https://github.com/cubiq/ComfyUI_Workflows |
https://github.com/wyrde/wyrde-comfyui-workflows | |
工作流分享网站 | https://comfyworkflows.com/ |
推荐一个比较好的comfyui的github仓库网站 | https://github.com/ZHO-ZHO-ZHO/ComfyUI-Workflows-ZHO?tab=readme-ov-file |
认识Lora微调
原理:LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间,这样它们就可以在不改变模型整体结构的情况下进行微调。在训练过程中,只有这些新增的低秩矩阵被更新,而原始模型的大部分权重保持不变。(下面视频讲的更易懂)
Lora的优势 :快速适应新任务,保持泛化能力,资源效率
高质量数据集
如何准备一个高质量的数据集?
首先明确需求与目标,你的模型要应用到什么场景?你需要什么样的图片?(什么风格?什么格式?什么色调?等)你的任务需要多少图片来支持训练?
数据集来源:
1.公开的数据平台 魔搭社区内开放了近3000个数据集,涉及文本、图像、音频、视频和多模态等多种场景,左侧有标签栏帮助快速导览,大家可以看看有没有自己需要的数据集。
其他数据平台推荐:
-
ImageNet:包含数百万张图片,广泛用于分类任务,也可以用于生成任务。
-
Open Images:由Google维护,包含数千万张带有标签的图片。
-
Flickr:特别是Flickr30kK和Flickr8K数据集,常用于图像描述任务。
-
CelebA:专注于人脸图像的数据集。
-
LSUN (Large-scale Scene Understanding):包含各种场景类别的大规模数据集。
2.使用API或爬虫获取
-
如果需要特定类型的内容,可以利用API从图库网站抓取图片,如Unsplash、Pexels等。
-
使用网络爬虫技术从互联网上抓取图片,但需要注意版权问题。
3.数据合成
利用现有的图形引擎(如Unity、Unreal Engine)或特定软件生成合成数据,这在训练某些类型的模型时非常有用。
4.数据增强
对于较小的数据集,可以通过旋转、翻转、缩放、颜色变换等方式进行数据增强。
5.购买或定制
如果你的应用是特定领域的,比如医学影像、卫星图像等,建议从靠谱的渠道购买一些数据集。
本次任务图例:![](https://i-blog.csdnimg.cn/direct/ad7867f3d5984287af9f56e5be457830.png)