Datawhale AI夏令营第四期 魔搭-AIGC方向 task02笔记

首先，我们来看下它的自我介绍。通义千问是具有信息查询、语言理解、文本创作等多能力的AI助手。比如：“一个背着背包的小男孩走在浅浅的小溪中，周围有几只小黄鸭。场景宁静，光线柔和，背景充满自然景色。

一：准备

通过给出的文件代码

1. 安装和卸载一些Python包。

2. 从ModelScope加载一个名为lowres_anime的数据集，并保存图像到指定目录。

3. 创建并处理一个用于数据清洗的JSONL文件。

4. 使用data-juicer工具过滤和处理数据集。

5. 将处理后的数据集转换为CSV格式。

6. 根据数据集通过DiffSynth做Lora微调

7. 加载Lora微调后的模型

8. 设置提示词，用微调后的模型生成图片

二：模型训练

       数据集： Kolors模型会在一个包含类似图像的大型数据集上进行训练，包括自然场景、儿童、动物等内容，以理解这些描述所对应的视觉构图和色彩方案。风格学习： 如果Kolors专注于风格应用，它还会学习如何将特定的艺术风格应用到图像上，比如水彩效果、柔和的线条以及粉彩色调

三：图像生成

      初步生成： Kolors模型会根据文本描述生成初步图像，将文本描述翻译为视觉元素。着色和细节处理： 模型接着会细化颜色和细节，确保男孩的特征、小鸭子和环境被恰当地渲染。模型会特别注意背景的颜色柔和过渡，以创造出类似水彩画的效果。

四：最后返回的结果

1.数据准备

（1）提示词

一个小男孩，
棕色的头发，
绿色的书包，
在森林的小道，
绿色的树木，
几只小黄鸭在他旁边，
他们在森林冒险，
穿过森林，
穿过河流，
离开森林。

自己在通义的返回的基础上，多多调整，争取打磨出一个最佳的提示词

（2）最后的话剧场景

第一张图片：小男孩背着绿色的书包来到有小黄鸭的森林

第二张图片：小男孩和小黄鸭一起来到河流旁

第三张图片：小男孩和小黄鸭在河里面玩耍

第四张图片：小男孩要和小黄鸭告别夕阳

最终图像： 最终生成的结果的图片，展示了一个带领小鸭穿过宁静自然环境的小男孩，整个场景使用了柔和、温暖的色彩。