Datawhale X 魔搭 AI夏令营task 1笔记

        本次学习为第四期AIGC方向，学习目的为理解基本逻辑原理并尝试优化模型、参数等。task 1目的旨在初步体验ai生成图。

        生成图整体基本逻辑为：导入库，构建数据集、模型微调（task1中可以忽略，也可以用以修改图片）、图片生成四个步骤。

        1.导入库：首先，代码导入了需要用到的库，包括 data-juicer 和微调的工具 DiffSynth-Studio。

        Data-Juicer用以简化数据的提取、转换和加载，整理训练数据文件；DiffSynth-Studio作为高效微调训练大模型的工具，在基础模型上，使用整理好的数据文件进行训练微调。

!pip install simple-aesthetics-predictor

!pip install -v -e data-juicer

!pip uninstall pytorch-lightning -y
!pip install peft lightning pandas torchvision

!pip install -e DiffSynth-Studio

2.数据集构建：下载数据集kolors，处理数据集。

图1 数据集下载代码

图2 数据处理代码

3.模型微调：模型微调训练，以及加载训练后的模型。

图3 下载模型及调参代码

图4 模型加载代码

4.图片生成：使用微调后的模型，生成用户指定的prompt提示词的图片。

图5 生成图代码

        生成结果图：

图6 结果图

        其中，通过正向反向关键词可以实现控制生成结果的特征值，如图7，控制正向关键词为“黑色披肩卷发”、“黑色吊带”、“蓝色贝雷帽”、“白色的花衬衫外套”、“白色长裙”、“可爱”后，生成结果如图8所示。图7 修改promot关键词

图8 修改后结果图

        额，很显然好像跟promot有点区别。task2再战。