Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 -task-02

一、AI生图的发展历程

        随着人工智能（AI）技术的不断演进，特别是AIGC（AI-Generated Content，人工智能生成内容）的兴起，AI生图技术——即利用AI算法自动生成图像的技术，已经从一个遥远的梦想转变为现实应用中不可或缺的一部分。  

1、计算机图形学的奠基

AI生图技术的起源可以追溯到计算机图形学的早期发展。从20世纪中叶起，随着计算机科学的兴起，人们开始尝试用计算机生成简单的图形。这一时期的技术积累为后来的图像生成技术奠定了坚实的基础。

2、算法的突破与初步尝试

进入80年代末至90年代，随着遗传算法、模拟退火等优化算法的提出，计算机开始能够生成更为复杂和多样化的图像。这些算法通过模拟自然进化或物理过程，在图像空间中搜索最优解，为AI生图提供了初步的思路和方法。

3、AIGC的崛起：技术的飞跃与应用的拓展

深度学习与GAN的突破

进入21世纪，特别是深度学习技术的兴起，特别是卷积神经网络（CNN）和生成对抗网络（GAN）的提出，彻底改变了AI生图技术的格局。GAN通过生成器和判别器的相互对抗训练，极大地提升了图像生成的质量和多样性，为AIGC在图像领域的广泛应用提供了可能。

AIGC引领的创意爆发

随着AIGC技术的不断成熟，AI生图不再仅仅局限于生成简单的图形或图像，而是能够根据用户的指令、风格参考或情感需求，创作出富有创意和个性化的图像作品。从艺术创作到广告设计，从游戏开发到影视制作，AIGC正逐步渗透到各个领域，成为推动内容创作和传播的重要力量。

AI生图中的应用与影响

1、Ai生图模型的发展

最早的AI生图可追溯到20世纪70年代，当时由艺术家哈罗德·科恩（Harold Cohen）发明AARON，可通过机械臂输出作画。

现代的AI生图模型大多基于深度神经网络基础上训练，最早可追溯到2012年吴恩达训练出的能生成“猫脸”的模型。

它使用卷积神经网络（CNN）训练，证明了深度学习模型能够学习到图像的复杂特征。

 2015年，谷歌推出了“深梦”（Deep Dream）图像生成工具，类似一个高级滤镜，可以基于给定的图片生成梦幻版图片——  

2021 年 1 月 OpenAI 推出DALL-E模型（一个深度学习算法模型，是GPT-3 语言处理模型的一个衍生版本），能直接从文本提示“按需创造”风格多样的图形设计——

在当时，就已经被一些媒体评价为：“ 秒杀50%的设计行业打工人应该是没有问题的，而且是质量和速度双重意义上的“秒杀” ”。

一般来说，AI生图模型属于多模态机器学习模型，通过海量的图库和文本描述的深度神经网络学习，最终的目标是可以根据输入的指示(不管是文本还是图片还是任何)生成符合语义的图片。

并且在AI生图的快速发展下，新闻和一些文章中使用的图片来源我们已经很难辨认，并且随着时代的快速发展AI 生图的热潮将会持续上升。毕竟按照心意生图多么美妙。

---

二、AI生图模型的使用

从这次学习活动、可图Kolors-LoRA风格故事挑战赛、魔搭社区的各类AIGC工具 开始，持续探索、尝试、思考总结、实践，

比如可图 · 模型库 (modelscope.cn)

通过Notebook快速开发

Kolors（可图）模型(点击即可跳转魔搭模型介绍页)打开实例

即可。

三、利用AI辅助精度baswline代码

1、baseline中代码结构如下：

!pip install simple-aesthetics-predictor

!pip install -v -e data-juicer

!pip uninstall pytorch-lightning -y
!pip install peft lightning pandas torchvision

!pip install -e DiffSynth-Studio

from modelscope.msdatasets import MsDataset

ds = MsDataset.load(
    'AI-ModelScope/lowres_anime',
    subset_name='default',
    split='train',
    cache_dir="/mnt/workspace/kolors/data"
)

import json, os
from data_juicer.utils.mm_utils import SpecialTokens
from tqdm import tqdm


os.makedirs("./data/lora_dataset/train", exist_ok=True)
os.makedirs("./data/data-juicer/input", exist_ok=True)
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
    for data_id, data in enumerate(tqdm(ds)):
        image = data["image"].convert("RGB")
        image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg")
        metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]}
        f.write(json.dumps(metadata))
        f.write("\n")

data_juicer_config = """
# global parameters
project_name: 'data-process'
dataset_path: './data/data-juicer/input/metadata.jsonl'  # path to your dataset directory or file
np: 4  # number of subprocess to process your dataset

text_keys: 'text'
image_key: 'image'
image_special_token: '<__dj__image>'

export_path: './data/data-juicer/output/result.jsonl'

# process schedule
# a list of several process operators with their arguments
process:
    - image_shape_filter:
        min_width: 1024
        min_height: 1024
        any_or_all: any
    - image_aspect_ratio_filter:
        min_ratio: 0.5
        max_ratio: 2.0
        any_or_all: any
"""
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
    file.write(data_juicer_config.strip())

!dj-process --config data/data-juicer/data_juicer_config.yaml

import pandas as pd
import os, json
from PIL import Image
from tqdm import tqdm


texts, file_names = [], []
os.makedirs("./data/data-juicer/output/images", exist_ok=True)
with open("./data/data-juicer/output/result.jsonl", "r") as f:
    for line in tqdm(f):
        metadata = json.loads(line)
        texts.append(metadata["text"])
        file_names.append(metadata["image"][0])

df = pd.DataFrame({"text": texts, "file_name": file_names})
df.to_csv("./data/data-juicer/output/result.csv", index=False)

df

from transformers import CLIPProcessor, CLIPModel
import torch

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

images = [Image.open(img_path) for img_path in df["file_name"]]
inputs = processor(text=df["text"].tolist(), images=images, return_tensors="pt", padding=True)

outputs = model(**inputs)
logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1)  # we can take the softmax to get the probabilities

probs

from torch.utils.data import Dataset, DataLoader

class CustomDataset(Dataset):
    def __init__(self, df, processor):
        self.texts = df["text"].tolist()
        self.images = [Image.open(img_path) for img_path in df["file_name"]]
        self.processor = processor

    def __len__(self):
        return len(self.texts)

    def __getitem__(self, idx):
        inputs = self.processor(text=self.texts[idx], images=self.images[idx], return_tensors="pt", padding=True)
        return inputs

dataset = CustomDataset(df, processor)
dataloader = DataLoader(dataset, batch_size=8)

for batch in dataloader:
    outputs = model(**batch)
    logits_per_image = outputs.logits_per_image
    probs = logits_per_image.softmax(dim=1)
    print(probs)

import torch
from diffusers import StableDiffusionPipeline

torch.manual_seed(1)
pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v-1-4", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒"
negative_prompt = "丑陋、变形、嘈杂、模糊、低对比度"
guidance_scale = 4
num_inference_steps = 50

image = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    guidance_scale=guidance_scale,
    num_inference_steps=num_inference_steps,
    height=1024,
    width=1024,
).images[0]

image.save("example_image.png")
image

from PIL import Image

torch.manual_seed(1)
image = pipe(
    prompt="二次元，日系动漫，演唱会的观众席，人山人海，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，舞台上衣着华丽的歌星们在唱歌",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("1.jpg")

torch.manual_seed(1)
image = pipe(
    prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("2.jpg")

torch.manual_seed(2)
image = pipe(
    prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("3.jpg")

torch.manual_seed(5)
image = pipe(
    prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙，对着流星许愿，闭着眼睛，十指交叉，侧面",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，扭曲的手指，多余的手指",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("4.jpg")

torch.manual_seed(0)
image = pipe(
    prompt="二次元，一个紫色中等长度头发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("5.jpg")

torch.manual_seed(1)
image = pipe(
    prompt="二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("6.jpg")

torch.manual_seed(7)
image = pipe(
    prompt="二次元，紫色长发少女，穿着黑色连衣裙，试衣间，心情忐忑",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("7.jpg")

torch.manual_seed(0)
image = pipe(
    prompt="二次元，紫色长发少女，穿着黑色礼服，连衣裙，在台上唱歌",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("8.jpg")

import numpy as np
from PIL import Image


images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]
image = np.concatenate([
    np.concatenate(images[0:2], axis=1),
    np.concatenate(images[2:4], axis=1),
    np.concatenate(images[4:6], axis=1),
    np.concatenate(images[6:8], axis=1),
], axis=0)
image = Image.fromarray(image).resize((1024, 2048))
image

其中上面的文字，即是提示AI 生图的Prompt,用于生成符合预期的图片

2、利用AI 助手辅助学习

在通义千问中输入

你是一个优秀的python开发工程师，现在我们需要你帮我们分析这个代码的主体框架，你需要把代码按照工作流分成几部分，用中文回答我的问题。{此处替换前面的代码}

这段代码主要分为以下几个部分：

 1. 环境准备与依赖安装
- 使用 `!pip` 命令来安装或卸载所需的Python包，包括 `simple-aesthetics-predictor`, `data-juicer`, `peft`, `lightning`, `pandas`, `torchvision`, 和 `DiffSynth-Studio`。

 2. 数据集加载与处理
- 加载名为 `AI-ModelScope/lowres_anime` 的数据集，并将其保存到指定的目录 `/mnt/workspace/kolors/data` 中。
- 将数据集中每个样本的图片和元数据（文本描述）转换为 JSON 格式，并保存到文件 `./data/data-juicer/input/metadata.jsonl` 中。

 3. 数据清洗与筛选
- 定义了一个 YAML 配置文件 `data_juicer_config.yaml`，用于配置 `data-juicer` 工具如何处理数据集。
- 这个配置文件定义了数据集的路径、要处理的数据字段、图像的过滤条件（如宽度、高度、宽高比）以及输出文件的位置。
- 使用 `data-juicer` 的命令行工具 `dj-process` 来根据配置文件处理数据集。

4. 处理结果的整理
- 读取经过 `data-juicer` 处理后的结果文件 `result.jsonl`，并将数据整理成 DataFrame 结构。
- 将整理好的数据存储为 CSV 文件 `result.csv`。

5. 图像与文本相似性计算
- 利用预训练的 CLIP 模型 (`openai/clip-vit-base-patch32`) 来计算图像和文本之间的相似性得分。
- 创建了一个自定义的 PyTorch 数据集类 `CustomDataset` 来方便地处理图像和文本对，并使用 `DataLoader` 来批量加载数据进行计算。

6. 生成图像
- 使用 `StableDiffusionPipeline` 从预训练模型 `CompVis/stable-diffusion-v-1-4` 来生成一系列基于不同提示的二次元风格图像。
- 通过改变种子 (`torch.manual_seed()`) 来控制生成过程中的随机性，确保生成结果的一致性。
- 保存生成的图像，并将它们合并成一个大的图像进行展示。

总结来说，整个代码流程涵盖了数据集的加载、处理、清洗、特征提取以及利用深度学习模型生成新的图像内容。

如果有不懂的代码模块，可以继续追问甚至可以逐行解释。

3、实战演练一一基于话剧的连环画制作

所使用工具还是通义千问，

1、提示词

你是一个文生图专家，我们现在要做一个实战项目，就是要编排一个文生图话剧
话剧由8张场景图片生成，你需要输出每张图片的生图提示词

具体的场景图片
1、女主正在上课
2、开始睡着了
3、进入梦乡，梦到自己站在路旁
4、王子骑马而来
5、两人相谈甚欢
6、一起坐在马背上
7、下课了，梦醒了
8、又回到了学习生活中

生图提示词要求
1、风格为古风
2、根据场景确定是使用全身还是上半身
3、人物描述
4、场景描述
5、做啥事情

例子：
古风，水墨画，一个黑色长发少女，坐在教室里，盯着黑板，深思，上半身，红色长裙

此时AI返还：

第一张图片：女主正在上课
古风，工笔画，一位黑发少女，身着淡雅青衫，坐在古色古香的学堂内，专注地注视着先生讲解的竹简，上半身特写，学堂内摆放着几案和毛笔。
第二张图片：开始睡着了
古风，淡墨勾勒，同一黑发少女，头轻轻垂在桌案上，手中握着一支未落下的毛笔，半闭着眼睛，嘴角挂着一丝微笑，上半身特写，学堂内的其他学生若隐若现。
第三张图片：进入梦乡，梦到自己站在路旁
古风，细腻水彩，黑发少女身着轻纱长裙，站在一条古道边，身后是一片葱郁的竹林，四周弥漫着淡淡的雾气，全身展示，少女面带期待之色。
第四张图片：王子骑马而来
古风，浓墨重彩，一位英俊少年骑着一匹白马缓缓靠近，白马鬃毛飞扬，少年身着华丽服饰，眼神坚定，全身展示，背景为古道与远处的山峦。
第五张图片：两人相谈甚欢
古风，细致工笔，黑发少女与英俊少年并肩站立于花丛之中，两人目光交汇，表情愉悦，周围是绽放的牡丹花，上半身特写，少年手执折扇，少女手持书卷。
第六张图片：一起坐在马背上
古风，柔和线条，少女与少年同乘一匹白马，少年稳坐马鞍，少女轻倚其后，双手环绕少年腰间，全身展示，背景为一片开阔的草原。
第七张图片：下课了，梦醒了
古风，淡雅水墨，黑发少女从梦中惊醒，眼神中带着一丝迷茫，坐在学堂内，周围的学生们正收拾东西准备离开，上半身特写，桌上散落着书简。
第八张图片：又回到了学习生活中
古风，细致描绘，黑发少女回到日常的学习生活中，与其他同学一同围坐在学堂内，专心听讲，上半身特写，学堂内气氛和谐，书声琅琅。

生成图片效果如下：

利用生图工具来生成，微调提示词即可。

总结：通义千问真好用。