DataWhale夏令营第四期魔搭- AIGC方向 task01笔记

---

前言

今天是开始入门文生图的第一天。带着对AI好奇和幻想，开始了今天的学习之旅。

一、了解概念

LORA：Stable Diffusion中的Lora（LoRA）模型是一种轻量级的微调方法，它代表了“Low-Rank Adaptation”，即低秩适应。Lora不是指单一的具体模型，而是指一类通过特定微调技术应用于基础模型的扩展应用。在Stable Diffusion这一文本到图像合成模型的框架下，Lora被用来对预训练好的大模型进行针对性优化，以实现对特定主题、风格或任务的精细化控制。

ComfyUI ：ComfyUI 是一个工作流工具，主要用于简化和优化 AI 模型的配置和训练过程。通过直观的界面和集成的功能，用户可以轻松地进行模型微调、数据预处理、图像生成等任务，从而提高工作效率.

CUDA：CUDA是由英伟达NVIDIA所推出的一种软硬件集成技术，是该公司对于GPGPU的正式名称。透过这个技术，用户可利用NVIDIA的GPU进行图像处理之外的运算，亦是首次可以利用GPU作为C-编译器的开发环境。

Kolors：可图大模型是由快手AI团队自研打造的文生图大型模型，具有强大的图像生成能力。该模型结合了大语言模型和跨模态模型，能够精准理解用户意图，支持创作古诗词等内容。可图大模型还包括AI形象定制功能，可以通过保持人像的自然特征，一键生成不同风格的人像作品。

PyTorch：PyTorch是一个开源的Python机器学习库，基于Torch库，底层由C++实现，应用于人工智能领域，如计算机视觉和自然语言处理。它最初由Meta Platforms的人工智能研究团队开发，现在属于Linux基金会的一部分。它是在修改后的BSD许可证下发布的自由及开放源代码软件。

二、使用步骤

1. 导入库：首先，代码导入了需要用到的库，包括 data-juicer 和微调的工具 DiffSynth-Studio

2. 数据集构建：下载数据集kolors，处理数据集

3. 模型微调：模型微调训练，以及加载训练后的模型

4. 图片生成：调用训练好的模型生成图片

图片就不加了，和步骤上无异。

总结

通过 动手操作，了解了许多概念和技术，同时实操很有趣。期待下一次学习。