Datawhale AI夏令营第四期 AIGC方向 task01小白学习笔记

目录

下载baseline文件（大约需要2分钟）

进入文件夹，打开baseline文件

安装环境，然后重启kernel

调整prompt，设置你想要的图片风格，依次修改8张图片的描述

依次顺序运行剩余的代码块，点击代码框左上角执行按钮，最终获得图片（大约需要20分钟）

---

下载baseline文件（大约需要2分钟）

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git

进入文件夹，打开baseline文件

安装环境，然后重启kernel

调整prompt，设置你想要的图片风格，依次修改8张图片的描述

正向描述词：你想要生成的图片应该包含的内容

反向提示词：你不希望生成的图片的内容

依次顺序运行剩余的代码块，点击代码框左上角执行按钮，最终获得图片（大约需要20分钟）

下面的代码块按照功能主要分成这几类

1. 使用Data-Juicer处理数据，整理训练数据文件

2. 使用DiffSynth-Studio在基础模型上，使用前面整理好的数据文件进行训练微调

3. 加载训练微调后的模型

4. 使用微调后的模型，生成用户指定的prompt提示词的图片

我的编辑是

torch.manual_seed(0)
image = pipe(
    prompt="动漫，小蝌蚪在清澈的池塘中游动，水草轻轻摆动，远处母蛙静静地站在荷叶上，等待着小蝌蚪的到来",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("1.jpg")

torch.manual_seed(1)
image = pipe(
    prompt="动漫，小蝌蚪们齐心协力，逆流而上，穿过波光粼粼的溪流，向着母蛙所在的方向坚定前行",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("2.jpg")

torch.manual_seed(2)
image = pipe(
    prompt="动漫，小蝌蚪在浅滩上与小鱼玩耍，水面泛起微波，母蛙在远处注视着，目光中充满关爱",
    negative_prompt="避免低对比度、模糊、丑陋、变形、背景杂乱",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("3.jpg")

torch.manual_seed(5)
image = pipe(
    prompt="动漫，夕阳西下，池塘边的荷花开得正艳，小蝌蚪们在夕阳下追逐，母蛙在岸边静候，等待团聚。",
    negative_prompt="避免模糊、低对比度、嘈杂、变形、背景过于复杂",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("4.jpg")

torch.manual_seed(0)
image = pipe(
    prompt="动漫，小蝌蚪遇到一只大青蛙，大青蛙温和地指引它们前行，水中的倒影和树影相互映衬。",
    negative_prompt="避免模糊、低对比度、丑陋、嘈杂、变形",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("5.jpg")

torch.manual_seed(1)
image = pipe(
    prompt="动漫，小蝌蚪们在一片碧绿的荷叶下躲避雨滴，荷叶上站着母蛙，给它们遮挡风雨，展现母爱的温暖。",
    negative_prompt="避免模糊、低对比度、嘈杂、背景过于杂乱、变形",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("6.jpg")

torch.manual_seed(7)
image = pipe(
    prompt="动漫，小蝌蚪在迷雾中迷路，忽然看到母蛙的身影，它们振奋精神，向着那抹温暖的影子游去。",
    negative_prompt="避免模糊、低对比度、丑陋、变形、背景嘈杂",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("7.jpg")

torch.manual_seed(0)
image = pipe(
    prompt="动漫，夜幕降临，星光洒在池塘上，小蝌蚪终于找到母蛙，它们依偎在母蛙身旁，静静地享受着团聚的时刻。",
    negative_prompt="避免模糊、低对比度、嘈杂、丑陋、变形",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("8.jpg")