Datawhale X 魔搭 AI夏令营 task2学习笔记

概述

本次task的学习在task1的基础上，学习利用AI解读Baseline的代码，进一步加深了对代码的认识，同时也利用AI生成图片所需的正向关键词，最后也感受了一下scepter。在task2中，我主要通过AI来帮助自己学习AI的相关问题，是一次很有趣的体验。

一些工具

通义千问

通义千问是阿里开发的一个大语言模型，相比于其他的大预言模型，通义千问的优势在于他的编程与技术支持能力，这也是这里选择它来学习AI并解读代码的原因。

scepter

scepter是一个开源的代码库用于生成训练，微调，可以用于图片的生成与编辑。同时，他也有网页版，可以很方便的使用。

代码解读

!pip install simple-aesthetics-predictor

!pip install -v -e data-juicer

!pip uninstall pytorch-lightning -y
!pip install peft lightning pandas torchvision

这几段代码用于安装与卸载一些库。

ds = MsDataset.load(
    'AI-ModelScope/lowres_anime',
    subset_name='default',
    split='train',
    cache_dir="/mnt/workspace/kolors/data"
)

这些代码是将数据集AI-ModelScope/lowres_anime下载到/mnt/workspace/kolors/data中。

os.makedirs("./data/lora_dataset/train", exist_ok=True)
os.makedirs("./data/data-juicer/input", exist_ok=True)
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
    for data_id, data in enumerate(tqdm(ds)):
        image = data["image"].convert("RGB")
        image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg")
        metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]}
        f.write(json.dumps(metadata))
        f.write("\n")

该代码先是创建了一个文件夹data/lora_dataset/train用于存放图片，又在data/data-juicer/input中新建了metadata.jsonl文件用于索引。然后在数据集中去取图片将其转为RGB格式后存入data/lora_dataset/train中，接着将该图片的text与地址组合起来写入metadata.jsonl。

data_juicer_config = """
# global parameters
project_name: 'data-process'
dataset_path: './data/data-juicer/input/metadata.jsonl'  # path to your dataset directory or file
np: 4  # number of subprocess to process your dataset

text_keys: 'text'
image_key: 'image'
image_special_token: '<__dj__image>'

export_path: './data/data-juicer/output/result.jsonl'

# process schedule
# a list of several process operators with their arguments
process:
    - image_shape_filter:
        min_width: 1024
        min_height: 1024
        any_or_all: any
    - image_aspect_ratio_filter:
        min_ratio: 0.5
        max_ratio: 2.0
        any_or_all: any
"""
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
    file.write(data_juicer_config.strip())

定义data_juicer_config，来配置数据处理的参数主要有数据集的位置，处理后存放的位置（data/data-juicer/output/result.jsonl），以及处理的步骤（选出在一定大小与长宽比的图片）。然后在data/data-juicer中创建一个配置文件data_juicer_config.yaml。

!dj-process --config data/data-juicer/data_juicer_config.yaml

根据配置文件，进行数据处理

texts, file_names = [], []
os.makedirs("./data/data-juicer/output/images", exist_ok=True)
with open("./data/data-juicer/output/result.jsonl", "r") as f:
    for line in tqdm(f):
        metadata = json.loads(line)
        texts.append(metadata["text"])
        file_names.append(metadata["image"][0])

这段主要是读取result.jsonl，将其中的text与图片路径分别存入列表texts与file_names中

df = pd.DataFrame({"text": texts, "file_name": file_names})
df.to_csv("./data/data-juicer/output/result.csv", index=False)
df

用pandas创建DataFrame，其中第一列为text，第二列为file_name。然后将DataFrame保存为CSV文件。

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

images = [Image.open(img_path) for img_path in df["file_name"]]
inputs = processor(text=df["text"].tolist(), images=images, return_tensors="pt", padding=True)

加载预训练的模型clip与clip处理器，从file_name列中打开图像，并用clip处理文本与图像数据，返回PyTorch张量。

outputs = model(**inputs)
logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1)  # we can take the softmax to get the probabilities

运用clip模型处理数据，得到输出。然后计算图像数据与文本的相似度得分，对得分使用softmax函数得到概率分布。

from torch.utils.data import Dataset, DataLoader

class CustomDataset(Dataset):
    def __init__(self, df, processor):
        self.texts = df["text"].tolist()
        self.images = [Image.open(img_path) for img_path in df["file_name"]]
        self.processor = processor

    def __len__(self):
        return len(self.texts)

    def __getitem__(self, idx):
        inputs = self.processor(text=self.texts[idx], images=self.images[idx], return_tensors="pt", padding=True)
        return inputs

定义一个类CustomDataset其继承torch.utils.data.Dataset，实现了初始化的方法，读取文本与图像数据与处理器。

dataset = CustomDataset(df, processor)
dataloader = DataLoader(dataset, batch_size=8)

创建一个CustomDataset类的对象dataset，创建一个DataLoader实例来批量处理数据。

for batch in dataloader:
    outputs = model(**batch)
    logits_per_image = outputs.logits_per_image
    probs = logits_per_image.softmax(dim=1)
    print(probs)

遍历dataloader中的数据，用clip模型处理数据，计算相似度得分与概率分布。

import torch
from diffusers import StableDiffusionPipeline

torch.manual_seed(1)
pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v-1-4", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

加载预训练的SD模型并将其移动到CUDA设备上。

prompt = "二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒"
negative_prompt = "丑陋、变形、嘈杂、模糊、低对比度"
guidance_scale = 4
num_inference_steps = 50

image = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    guidance_scale=guidance_scale,
    num_inference_steps=num_inference_steps,
    height=1024,
    width=1024,
).images[0]

image.save("example_image.png")
image

设置生成图片的正向提示词与负向提示词，生成图片并保存。

import numpy as np
from PIL import Image

images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]
image = np.concatenate([
    np.concatenate(images[0:2], axis=1),
    np.concatenate(images[2:4], axis=1),
    np.concatenate(images[4:6], axis=1),
    np.concatenate(images[6:8], axis=1),
], axis=0)
image = Image.fromarray(image).resize((1024, 2048))
image

读取生成的图像并合成一个大图像。

运用AI生成提示词

运用通义千问，告诉它图片的场景、提示词的要求以及实例后即可得到一些提示词，但是AI生成的提示词比较多，需要自己进行调整，下面是我调整后的提示词（部分）

场景	提示词
女主正在上课	古风，细腻的水墨画，一个黑色长发少女，淡蓝色长裙，头戴精致的发饰，坐在古色古香的教室里，四周摆放着书卷和笔墨，专注地盯着黑板，手握毛笔，认真记笔记，上半身特写
开始睡着了	古风，细腻的水墨画，一个黑色长发少女，淡蓝色长裙，头戴精致的发饰，在古色古香的教室里，窗外透进柔和的阳光，头枕着手臂，轻轻地打盹，书本摊放在桌上，上半身特写

然后将这些提示词输入到baseline的正向提示词中，便可画出所需图片。这里是结果

Scepter

然后，我体验了一下网页版的Scepter(https://www.modelscope.cn/studios/iic/scepter_studio)，因为有ui界面所以使用起来很方便。如输入blue,technological,robort结果如下

但觉的该网页所用的模型对中文的理解并不好，如输入蓝色，科技风，机器人，得到的结果如下

很明显不符合要求。

总结

通过本次学习，我主要了解了运用AI学习AI，并解读相关的程序，读懂了baseline的代码，对其也有了更深的理解。对于scepter网页版，我认为其很便利但也有一定的缺陷，不知道服务器端的scepter有无不同，希望有时间的时候可以学习一下。