Datawhale X 魔搭 AI夏令营-AIGC文生图方向 Task1 学习笔记

 一，任务简介

在本次任务中，我们使用了 “魔搭工具链 ” 和 “可图Kolors模型” 来进行文生图模型的微调。

1. 训练自己的LoRA模型权重（考验数据集的选择能力 & 对微调工具的使用）

2. 使用自己的LoRA模型进行8图故事创作（考验工作流设计能力、Prompt功力）

任务的最终目标是基于微调后的模型，创作一个包含八幅图片的故事。这一任务不仅考察了我们对工具链的掌握程度，也挑战了我们对故事创意和视觉表现的能力。

二，学习内容

1. 魔搭工具链概述：

魔搭工具链提供了简便的模型训练和部署环境，支持多种AI模型的开发。本次任务中，我们使用它来微调文生图模型。
工具链的操作界面友好，支持快速上手，特别适合大规模的实验和迭代。

2. 可图Kolors模型简介：

Kolors是一款强大的文生图模型，以其生成的图片质量和色彩丰富性闻名。通过对该模型的微调，我们可以将特定风格或主题融入到生成的图片中。

3. 文生图模型微调：

本次微调主要集中在以下几个方面：
        1. 数据集准备：根据故事的主题，收集并整理了相关的文本和图片数据。
        2. 微调参数选择：调整模型的学习率、训练轮次、批量大小等超参数，以优化生成结果。
        3. 模型训练与评估：使用魔搭工具链进行训练，并在训练过程中实时观察损失函数的变化，判断模型的收敛情况。

4. 八图故事创作：

依据微调后的模型，创作了一个八图故事。故事通过每幅图片传递情感和剧情，图片之间有逻辑关联，并共同构成完整的叙事。

三，学习过程

1.开通阿里云PAI-DSW试用

2.工具链环境搭建：

初次使用魔搭工具链时，熟悉其操作界面和功能花费了一些时间。在熟悉后，发现其对文生图模型的微调流程十分简洁高效。

3.数据处理与模型训练：

数据集的整理是关键的一步，为了让生成的图片符合故事主题。

4. 生成结果与调整：

初次生成的图片与预期有所差距，通过对模型进一步微调，逐步改善了生成效果。
最终生成的八幅图片与文本故事完美匹配，达到了任务要求。

四，学习收获

1. 对魔搭工具链的掌握：

通过本次任务，深入了解了魔搭工具链的操作和功能，能够熟练使用它进行模型微调。

2. 模型微调技巧：

学习了如何通过调整超参数和增量数据来优化文生图模型的生成效果。

3. 创意与实践结合：

创作八图故事的过程，培养了将技术与创意结合的能力，对如何通过AI生成故事有了更深的理解。