Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task02笔记

一、精读baseline——从零入门AI生图

1.baseline代码

我把baseline中的所有代码整理出来，代码结构如下：

!pip install simple-aesthetics-predictor

!pip install -v -e data-juicer

!pip uninstall pytorch-lightning -y
!pip install peft lightning pandas torchvision

!pip install -e DiffSynth-Studio

from modelscope.msdatasets import MsDataset

ds = MsDataset.load(
    'AI-ModelScope/lowres_anime',
    subset_name='default',
    split='train',
    cache_dir="/mnt/workspace/kolors/data"
)

import json, os
from data_juicer.utils.mm_utils import SpecialTokens
from tqdm import tqdm


os.makedirs("./data/lora_dataset/train", exist_ok=True)
os.makedirs("./data/data-juicer/input", exist_ok=True)
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
    for data_id, data in enumerate(tqdm(ds)):
        image = data["image"].convert("RGB")
        image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg")
        metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]}
        f.write(json.dumps(metadata))
        f.write("\n")

data_juicer_config = """
# global parameters
project_name: 'data-process'
dataset_path: './data/data-juicer/input/metadata.jsonl'  # path to your dataset directory or file
np: 4  # number of subprocess to process your dataset

text_keys: 'text'
image_key: 'image'
image_special_token: '<__dj__image>'

export_path: './data/data-juicer/output/result.jsonl'

# process schedule
# a list of several process operators with their arguments
process:
    - image_shape_filter:
        min_width: 1024
        min_height: 1024
        any_or_all: any
    - image_aspect_ratio_filter:
        min_ratio: 0.5
        max_ratio: 2.0
        any_or_all: any
"""
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
    file.write(data_juicer_config.strip())

!dj-process --config data/data-juicer/data_juicer_config.yaml

import pandas as pd
import os, json
from PIL import Image
from tqdm import tqdm


texts, file_names = [], []
os.makedirs("./data/data-juicer/output/images", exist_ok=True)
with open("./data/data-juicer/output/result.jsonl", "r") as f:
    for line in tqdm(f):
        metadata = json.loads(line)
        texts.append(metadata["text"])
        file_names.append(metadata["image"][0])

df = pd.DataFrame({"text": texts, "file_name": file_names})
df.to_csv("./data/data-juicer/output/result.csv", index=False)

df

from transformers import CLIPProcessor, CLIPModel
import torch

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

images = [Image.open(img_path) for img_path in df["file_name"]]
inputs = processor(text=df["text"].tolist(), images=images, return_tensors="pt", padding=True)

outputs = model(**inputs)
logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1)  # we can take the softmax to get the probabilities

probs

from torch.utils.data import Dataset, DataLoader

class CustomDataset(Dataset):
    def __init__(self, df, processor):
        self.texts = df["text"].tolist()
        self.images = [Image.open(img_path) for img_path in df["file_name"]]
        self.processor = processor

    def __len__(self):
        return len(self.texts)

    def __getitem__(self, idx):
        inputs = self.processor(text=self.texts[idx], images=self.images[idx], return_tensors="pt", padding=True)
        return inputs

dataset = CustomDataset(df, processor)
dataloader = DataLoader(dataset, batch_size=8)

for batch in dataloader:
    outputs = model(**batch)
    logits_per_image = outputs.logits_per_image
    probs = logits_per_image.softmax(dim=1)
    print(probs)

import torch
from diffusers import StableDiffusionPipeline

torch.manual_seed(1)
pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v-1-4", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒"
negative_prompt = "丑陋、变形、嘈杂、模糊、低对比度"
guidance_scale = 4
num_inference_steps = 50

image = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    guidance_scale=guidance_scale,
    num_inference_steps=num_inference_steps,
    height=1024,
    width=1024,
).images[0]

image.save("example_image.png")
image

from PIL import Image

torch.manual_seed(1)
image = pipe(
    prompt="二次元，日系动漫，演唱会的观众席，人山人海，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，舞台上衣着华丽的歌星们在唱歌",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("1.jpg")

torch.manual_seed(1)
image = pipe(
    prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("2.jpg")

torch.manual_seed(2)
image = pipe(
    prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("3.jpg")

torch.manual_seed(5)
image = pipe(
    prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙，对着流星许愿，闭着眼睛，十指交叉，侧面",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，扭曲的手指，多余的手指",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("4.jpg")

torch.manual_seed(0)
image = pipe(
    prompt="二次元，一个紫色中等长度头发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("5.jpg")

torch.manual_seed(1)
image = pipe(
    prompt="二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("6.jpg")

torch.manual_seed(7)
image = pipe(
    prompt="二次元，紫色长发少女，穿着黑色连衣裙，试衣间，心情忐忑",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("7.jpg")

torch.manual_seed(0)
image = pipe(
    prompt="二次元，紫色长发少女，穿着黑色礼服，连衣裙，在台上唱歌",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("8.jpg")

import numpy as np
from PIL import Image


images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]
image = np.concatenate([
    np.concatenate(images[0:2], axis=1),
    np.concatenate(images[2:4], axis=1),
    np.concatenate(images[4:6], axis=1),
    np.concatenate(images[6:8], axis=1),
], axis=0)
image = Image.fromarray(image).resize((1024, 2048))
image

2.分析代码

（1）输入给通义千问的Prompt

通义千问链接：

通义官网通义官网，致力于实现类人智慧的通用智能https://tongyi.aliyun.com/Prompt：

你是一个优秀的python开发工程师，现在我们需要你帮我们分析这个代码的主体框架，你需要把代码按照工作流分成几部分，用中文回答我的问题。{此处替换前面的代码}

 （2）AI的回答

这段代码可以分为以下几个主要部分，每一部分执行不同的功能：

第一部分：环境设置与依赖安装
这部分代码使用!pip install命令来安装项目所需的Python包，包括simple-aesthetics-predictor, data-juicer, peft, lightning, pandas, torchvision, 和 DiffSynth-Studio。同时，它也卸载了pytorch-lightning并重新安装了lightning，可能是因为版本控制或特定依赖关系的需要。

第二部分：数据集加载与预处理
这里从modelscope加载了一个名为lowres_anime的数据集，并将数据集中的图片和相关元数据保存到本地目录。每张图片被转换为RGB格式并保存，同时创建了一个JSONL文件存储每张图片对应的元数据。

第三部分：数据过滤与处理
通过data_juicer对数据进行进一步的处理，包括应用图像尺寸和宽高比的过滤器。这些操作是通过配置文件data_juicer_config.yaml指定的，并使用dj-process命令行工具执行。

第四部分：数据整理与特征提取
这部分读取处理后的数据，将其转换为Pandas DataFrame，并保存为CSV文件。然后使用CLIP模型（Contrastive Language-Image Pre-training）来计算图像和文本描述之间的相似性分数。

第五部分：数据加载与模型评估
创建了一个自定义的PyTorch数据集类CustomDataset，用于从DataFrame中加载数据，并使用DataLoader进行批处理。然后使用CLIP模型对每个批次的数据进行评估，得到图像与文本匹配的概率。

第六部分：生成图像
这部分使用StableDiffusionPipeline模型根据给定的提示（prompts）生成二次元风格的图像。通过调整guidance_scale和num_inference_steps参数，以及不同的随机种子，生成了一系列具有不同场景和细节的图像。

第七部分：图像拼接与展示
最后，将生成的多个图像拼接在一起形成一个大的图像，并进行了尺寸调整，以便于展示或进一步的处理。

整个流程涉及数据集的加载、预处理、特征提取、模型训练和评估，以及最终的图像生成与后处理，覆盖了从数据准备到模型应用的完整机器学习工作流。

 （3）执行过程

图1： 输入问题

图2：返回答案

二、实战演练

 1.数据准备

（1）提示词

你是一个文生图专家，我们现在要做一个实战项目，就是要编排一个文生图话剧 话剧由8张场景图片生成，你需要输出每张图片的生图提示词

具体的场景图片

1、女主正在上课

2、开始睡着了

3、进入梦乡，梦到自己站在路旁

4、王子骑马而来

5、两人相谈甚欢

6、一起坐在马背上

7、下课了，梦醒了

8、又回到了学习生活中

生图提示词要求

1、风格为古风

2、根据场景确定是使用全身还是上半身

3、人物描述

4、场景描述

5、做啥事情

例子： 古风，水墨画，一个黑色长发少女，坐在教室里，盯着黑板，深思，上半身，红色长裙

 （2）话剧场景

图片编号	场景描述	正向提示词	反向提示词
图片1	女主正在上课	古风，工笔画，一个着汉服的女子，束起的黑色长发，头戴玉簪，上半身，坐在书案前，手握毛笔，凝视着摊开的卷轴，背景是古色古香的书房，窗外竹影摇曳	丑陋，变形，嘈杂，模糊，低对比度
图片2	开始睡着了	古风，淡墨渲染，同一个女子，头微垂，双手轻轻搭在桌上，嘴角挂着一丝笑意，似乎正陷入梦境，上半身，身着青花瓷图案的汉服，背景是一幅朦胧的山水画卷，书案上散落着几页未完成的诗词	丑陋，变形，嘈杂，模糊，低对比度
图片3	进入梦乡，梦到自己站在路旁	古风，梦幻色彩，全身像，女子穿着飘逸的白纱衣，站在一条蜿蜒的石径上，四周环绕着轻烟薄雾，远处有山峦叠嶂，她抬头望向远方，仿佛期待着什么	丑陋，变形，嘈杂，模糊，低对比度
图片4	王子骑马而来	古风，浓墨重彩，全身像，一位英俊的男子骑着一匹白马缓缓而来，身穿金丝镶边的战袍，头戴冠冕，目光坚定地望向前方，背景是开阔的草原，阳光洒在大地上	丑陋，变形，嘈杂，模糊，低对比度
图片5	两人相谈甚欢	古风，细腻笔触，上半身，女子与王子并肩而立，他们面带微笑，似乎在分享着彼此的秘密，女子穿着精致的绣花衣裳，王子则身着简洁的贵族服饰，背后是精致的凉亭和盛开的牡丹花	丑陋，变形，嘈杂，模糊，低对比度
图片6	一起坐在马背上	古风，动感描绘，全身像，王子和女子共乘一骑，王子稳稳驾驭着马匹，女子依偎在他的臂弯里，两人脸上洋溢着幸福的笑容，背景是夕阳下的壮丽山河	丑陋，变形，嘈杂，模糊，低对比度
图片7	下课了，梦醒了	古风，渐变色彩，上半身，女子坐在书案前，突然睁开眼睛，脸上带着惊异的表情，似乎刚从美梦中醒来，身着朴素的学子服饰，周围是熟悉的教室环境，同窗们正陆续离开	丑陋，变形，嘈杂，模糊，低对比度
图片8	又回到了学习生活中	古风，和谐色调，全身像，女子与其他学子一起，或读书或写字，有的在探讨学问，有的在练习书法，背景是充满书香气息的学院场景，每个人都在专心致志地学习	丑陋，变形，嘈杂，模糊，低对比度

（3）修改提示词

1. 双击进入baseline文件

2. 找到生成图像的板块

3. 依次替换8张图片的正向提示词和反向提示词

（4）结果展示