Datawhale AI夏令营第四期 AIGC文生图方向 task02

对所有人来说，定期关注AI生图的最新能力情况都十分重要：

• 对于普通人来说，可以避免被常见的AI生图场景欺骗，偶尔也可以通过相关工具绘图

• 对于创作者来说，通过AI生图的工具可以提效，快速制作自己所需要的内容

• 对于技术人来说，了解AI生图的能力的玩法，可以更好地针对自己的业务进行开发和使用，甚至攻克难题开发更实用的工具

最早的AI生图可追溯到20世纪70年代，当时由艺术家哈罗德·科恩（Harold Cohen）发明AARON，可通过机械臂输出作画。

现代的AI生图模型大多基于深度神经网络基础上训练，最早可追溯到2012年吴恩达训练出的能生成“猫脸”的模型。

它使用卷积神经网络（CNN）训练，证明了深度学习模型能够学习到图像的复杂特征。

2015年，谷歌推出了“深梦”（Deep Dream）图像生成工具，类似一个高级滤镜，可以基于给定的图片生成梦幻版图片

2021 年 1 月 OpenAI 推出DALL-E模型（一个深度学习算法模型，是GPT-3 语言处理模型的一个衍生版本），能直接从文本提示“按需创造”风格多样的图形设计

在当时，就已经被一些媒体评价为：“ 秒杀50%的设计行业打工人应该是没有问题的，而且是质量和速度双重意义上的“秒杀” ”。

一般来说，AI生图模型属于多模态机器学习模型，通过海量的图库和文本描述的深度神经网络学习，最终的目标是可以根据输入的指示(不管是文本还是图片还是任何)生成符合语义的图片。

1. 安装和卸载依赖包

• 使用 !pip 命令来安装或卸载 Python 包。包括：

  • simple-aesthetics-predictor, data-juicer, peft, lightning, pandas, torchvision, 和 DiffSynth-Studio 的安装。

  • 卸载 pytorch-lightning（使用 -y 自动确认卸载）。

    2.加载数据集

• 使用 ModelScope 的 MsDataset 类加载名为 AI-ModelScope/lowres_anime 的数据集，并指定子集名称为 default 和分割为 train，缓存目录设置为 /mnt/workspace/kolors/data。

   3.数据预处理

• 将数据集中的图像转换为 RGB 模式，并保存到指定目录。

• 创建包含图像路径和文本描述的元数据文件 metadata.jsonl。

• 编写并保存 data_juicer_config.yaml 配置文件，用于后续的数据过滤和处理。

  4.使用 Data-Juicer 进行数据处理

• 使用 dj-process 命令根据配置文件对数据进行过滤和处理，生成 result.jsonl 文件。

5.数据整理与训练

• 读取 result.jsonl 文件中的数据，并将其转换为 Pandas DataFrame，然后保存为 CSV 文件，并且将图片保存到./data/lora_dataset_processed/train文件夹下。

• 下载模型download_models(["Kolors", "SDXL-vae-fp16-fix"])

• 在前面模型的基础上，执行Lora微调训练

• 加载微调后的模型

6.图像生成

• 设置正向提示词，反向提示词，执行次数，图片尺寸

• 设置随机种子，控制图片是否可以重复生成，并将图像保存为 .jpg 文件。

7.合并图像

• 最后，将生成的多个图像合并成一个大图像，并调整大小。

整个流程涵盖了从数据加载、预处理、特征提取、模型预测到图像生成等多个方面。每一部分都有其特定的功能，共同构成了一个完整的二次元图像处理和生成的工作流。