Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task02笔记

目录

一、AI生图的重要性

二、最新图形生成技术研究方向

三、利用AI学习

​四、微调

参考资料

---

本篇文章是对task01中的代码的进阶，细讲与补充相关AIGC（通过人工智能技术自动生成内容的生产方式）的相关使用方式以及领域。

---

  一、AI生图的重要性

    随着近几年的科技迅速发展，AI生图渐渐地步入大众的视野，从小的方面来说有抖音的AI证件照，有AI生图参加摄影比赛获奖的，从坏的方面来说Deepfake技术（使用人工智能技术的伪造媒体）制作的虚假新闻，会破坏企业形象等等。

  那么回顾AI生图，最早发生在20世纪70年代通过机械臂来作画，而基于深度神经网络的最早在2012年，而至今已过去12年，AI生图技术已经有了飞速发展，但还是存在一系列的问题，比如之前很火的世界之外“四哥”六根手指，“消音哥”多出一段肘关节这系列问题（具体是否是人为造成还是机器造成的不给予评价判定，仅供参考举例），所以AI生图这方面还是需要更加的精进和大家的努力。

  关于AI生图的相关学习，推荐大家使用魔搭社区（我一直看成魔塔真的很抱歉呜呜呜）他还开源了专门的各种风格的可图优质咒语书，就好比我们task01中使用到的Kolors（可图）模型有兴趣可以点击了解了解。

   代码开源链接：https://github.com/Kwai-Kolors/Kolors

  模型开源链接：https://modelscope.cn/models/Kwai-Kolors/Kolors

  技术报告链接：https://github.com/Kwai-Kolors/Kolors/blob/master/imgs/Kolors_paper.pdf

  魔搭研习社最佳实践说明：https://www.modelscope.cn/learn/575?pid=543

    在上一讲也提到过那个创建海报的如下图，我感觉还是挺好看的。

  没事可以多玩玩这些模型，感觉比游戏好玩点。

---

二、最新图形生成技术研究方向

  这里只是总结，想看更详细的知识看b站视频。（点击即可观看）

  关于最新图形生成技术研究方向的相关信息如下：

  图像生成技术研究方向分为三类：基础文生图模型优化，可控生成与图像编辑，生成采样加速。

  基础文生图模型优化关于在像素空间去噪好还是在隐空间去噪好，基础文生图模型优化主要使用Imagen和DALLE-2两者主要区别如下。

  不能在像素空间里进行大尺度扩散模型的优化，不然会使模型收敛速度缓慢，消耗大量资源。

---

     

---

那么如何使用隐空间来进行去噪如下图。

   从下图可以看出效果还是挺好的，但是压缩还是会损失数据

   所以进一步的优化是Stable Cascade：更小的隐空间+级联，下图是原理图他使用了两个扩散模型。

    基础的文生图模型优化有三个方面：

  1、模型容量

  2、更强的prompt following ability

  3、Diffusion Transformer架构

  可控生成与图像编辑

    可控生成的架构设计如下四种：

  第一个是基于模型的得分预测，第二个是基于微调的得分预测，第二种相较于第一种来说不会引入多余的模型参数来编码，第三是无需训练的条件的得分预测，第四是基于条件引导的得分估计。

---

    下面介绍三种模型 第一个空间控制ControlNet。

T2l-Adapter模型

SCEdit模型   

       

定制化生成       

介绍定制化生成Textual Inversion                                                                     

---

IP—Adapter

采样加速         

 Consistency Model

Rectified Flow模型

---

三、利用AI学习

下面给出几个ai学习的网址：

https://tongyi.aliyun.com/qianwen/

https://cat.chatavx.com/#/home?from=lg

下面是baseline代码的注释：

# 安装 Data-Juicer 和 DiffSynth-Studio
!pip install simple-aesthetics-predictor # 安装simple-aesthetics-predictor
!pip install -v -e data-juicer # 安装data-juicer
!pip uninstall pytorch-lightning -y # 卸载pytorch-lightning
!pip install peft lightning pandas torchvision # 安装 peft lightning pandas torchvision
!pip install -e DiffSynth-Studio # 安装DiffSynth-Studio

# 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime
from modelscope.msdatasets import MsDataset  #引入数据集模块msdatasets
ds = MsDataset.load(
    'AI-ModelScope/lowres_anime',
    subset_name='default',
    split='train',
    cache_dir="/mnt/workspace/kolors/data" # 指定缓存目录
) # 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime，赋值给参数ds

# 生成数据集
import json, os # 导入json和os模块
from data_juicer.utils.mm_utils import SpecialTokens # 导入SpecialTokens
from tqdm import tqdm # 导入tqdm进度条管理
os.makedirs("./data/lora_dataset/train", exist_ok=True) # 创建文件夹./data/lora_dataset/train
os.makedirs("./data/data-juicer/input", exist_ok=True) # 创建文件夹./data/data-juicer/input
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
    for data_id, data in enumerate(tqdm(ds)): # 遍历数据集ds
        image = data["image"].convert("RGB") # 将数据集的图片转换为RGB
        image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") # 保存数据集的图片
        metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} # 生成当前图片的索引数据
        f.write(json.dumps(metadata)) # 将索引数据写入文件./data/data-juicer/input/metadata.jsonl
        f.write("\n")

# 配置data-juicer，并进行数据筛选过滤
# 配置过滤的规则
data_juicer_config = """
# global parameters
project_name: 'data-process' # 名称
dataset_path: './data/data-juicer/input/metadata.jsonl'  # 你前面生成的数据的索引文件
np: 4  # 线程数

text_keys: 'text' # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名
image_key: 'image' # 文件./data/data-juicer/input/metadata.jsonl的图片字段名
image_special_token: '<__dj__image>'

export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件

# process schedule
# a list of several process operators with their arguments
# 过滤的规则
process:
    - image_shape_filter: # 图片尺寸过滤
        min_width: 1024 # 最小宽度1024
        min_height: 1024 # 最小高度1024
        any_or_all: any # 符合前面条件的图片才会被保留
    - image_aspect_ratio_filter: # 图片长宽比过滤
        min_ratio: 0.5 # 最小长宽比0.5
        max_ratio: 2.0 # 最大长宽比2.0
        any_or_all: any # 符合前面条件的图片才会被保留
"""

# 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
    file.write(data_juicer_config.strip())
# data-juicer开始执行数据筛选
!dj-process --config data/data-juicer/data_juicer_config.yaml


# 通过前面通过data-juicer筛选的图片索引信息./data/data-juicer/output/result.jsonl，生成数据集
import pandas as pd # 导入pandas
import os, json # 导入os和json
from PIL import Image # 导入Image
from tqdm import tqdm # 导入tqdm进度条管理
texts, file_names = [], [] # 定义两个空列表，分别存储图片描述和图片名称
os.makedirs("./data/lora_dataset_processed/train", exist_ok=True) # 创建文件夹./data/lora_dataset_processed/train
with open("./data/data-juicer/output/result.jsonl", "r") as file: # 打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl
    for data_id, data in enumerate(tqdm(file.readlines())): # 遍历文件./data/data-juicer/output/result.jsonl
        data = json.loads(data) # 将json字符串转换为对象
        text = data["text"] # 获取对象中的text属性，也就是图片的描述信息
        texts.append(text) # 将图片的描述信息添加到texts列表中
        image = Image.open(data["image"][0]) # 获取对象中的image属性，也就是图片的路径,然后用这个路径打开图片
        image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg" # 生成保存图片的路径
        image.save(image_path) # 将图片保存到./data/lora_dataset_processed/train文件夹中
        file_names.append(f"{data_id}.jpg") # 将图片名称添加到file_names列表中
data_frame = pd.DataFrame() # 创建空的DataFrame
data_frame["file_name"] = file_names # 将图片名称添加到data_frame中
data_frame["text"] = texts # 将图片描述添加到data_frame中
data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig") # 将data_frame保存到./data/lora_dataset_processed/train/metadata.csv
data_frame # 查看data_frame


# 下载可图模型
from diffsynth import download_models # 导入download_models
download_models(["Kolors", "SDXL-vae-fp16-fix"]) # 下载可图模型
# DiffSynth-Studio提供了可图的Lora训练脚本，查看脚本信息
!python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py -h


# 执行可图Lora训练
import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
  --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型
  --pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder
  --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型
  --lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时，选择了使用 16 作为秩，适合在不显著降低模型性能的前提下，通过 LoRA 减少计算和内存的需求
  --lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值，影响调整的强度
  --dataset_path data/lora_dataset_processed \ # 指定数据集路径，用于训练模型
  --output_path ./models \ # 指定输出路径，用于保存模型
  --max_epochs 1 \ # 设置最大训练轮数为 1
  --center_crop \ # 启用中心裁剪，这通常用于图像预处理
  --use_gradient_checkpointing \ # 启用梯度检查点技术，以节省内存
  --precision "16-mixed" # 指定训练时的精度为混合 16 位精度（half precision），这可以加速训练并减少显存使用
""".strip()
os.system(cmd) # 执行可图Lora训练


# 加载lora微调后的模型
from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline
from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model
import torch # 导入torch
# 加载LoRA配置并注入模型
def load_lora(model, lora_rank, lora_alpha, lora_path):
    lora_config = LoraConfig(
        r=lora_rank, # 设置LoRA的秩(rank)
        lora_alpha=lora_alpha, # 设置LoRA的alpha值，控制LoRA的影响权重
        init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布
        target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块
    )
    model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中
    state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重
    model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中，允许部分权重不匹配
    return model # 返回注入LoRA后的模型
# 加载预训练模型
model_manager = ModelManager(
    torch_dtype=torch.float16, # 设置模型的数据类型为float16，减少显存占用
    device="cuda", # 指定使用GPU进行计算
    file_path_list=[
        "models/kolors/Kolors/text_encoder", # 文本编码器的路径
        "models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径
        "models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径
    ]
)
# 初始化图像生成管道
pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道
# 加载并应用LoRA权重到UNet模型
pipe.unet = load_lora(
    pipe.unet, 
    lora_rank=16, # 设置LoRA的秩(rank)，与训练脚本中的参数保持一致
    lora_alpha=2.0, # 设置LoRA的alpha值，控制LoRA对模型的影响权重
    lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径
)


# 生成图像
torch.manual_seed(0) # 设置随机种子，确保生成的图像具有可重复性。如果想要每次生成不同的图像，可以将种子值改为随机值。
image = pipe(
    prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙", # 设置正向提示词，用于指导模型生成图像的内容
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词，模型会避免生成包含这些特征的图像
    cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例，数值越高，模型越严格地遵循提示词
    num_inference_steps=50, # 设置推理步数，步数越多，生成的图像细节越丰富，但生成时间也更长
    height=1024, width=1024, # 设置生成图像的高度和宽度，这里生成 1024x1024 像素的图像
)
image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件


# 图像拼接，展示总体拼接大图
import numpy as np  # 导入numpy库，用于处理数组和数值计算
from PIL import Image  # 导入PIL库中的Image模块，用于图像处理
images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]  # 读取1.jpg到8.jpg的图像，转换为numpy数组，并存储在列表images中
image = np.concatenate([  # 将四组图像在垂直方向上拼接
    np.concatenate(images[0:2], axis=1),  # 将第1组（images[0:2]）的两张图像在水平方向上拼接
    np.concatenate(images[2:4], axis=1),  # 将第2组（images[2:4]）的两张图像在水平方向上拼接
    np.concatenate(images[4:6], axis=1),  # 将第3组（images[4:6]）的两张图像在水平方向上拼接
    np.concatenate(images[6:8], axis=1),  # 将第4组（images[6:8]）的两张图像在水平方向上拼接
], axis=0)  # 将四组拼接后的图像在垂直方向上拼接
image = Image.fromarray(image).resize((1024, 2048))  # 将拼接后的numpy数组转换为图像对象，并调整大小为1024x2048像素
image  # 输出最终生成的图像对象，用于显示图像

接着利用ai根据提供的关键词重新描绘场景给出完整的表格如下图所示。

图片标号	场景描述	正向提示词	反向提示词
图片1	小女孩在实验室，孤独一个人	二次元，色彩偏冷色调，一个黑色短发和红色眼睛的小女孩，穿着一件白色实验服，害怕，实验室，各种仪器和闪烁的屏幕，全身，	丑陋，变形，嘈杂，模糊，低对比度
图片2	在走廊遇到了小男孩	二次元，温暖的色调一个黑发红眼的小女孩和一个白发红眼的小男孩相遇，都穿着实验服，惊讶，长长的走廊，关闭的实验室门，对视着对方，上半身，突出面部表情和互动	丑陋，变形，嘈杂，模糊，低对比度
图片3	两个人成为好朋友相互依赖	二次元，温馨的色彩，黑发红眼的小女孩和白发红眼的小男孩手拉手，面带微笑，眼中充满信任和快乐在一个户外的花园，两人坐在草地上，周围散布着一些科学书籍和玩具，全身	丑陋，变形，嘈杂，模糊，低对比度
图片4	女孩失忆关在一个巨大培养罐里面	二次元，冷色调，带点科幻感，失去记忆的黑发红眼女孩，白色的实验服，巨大的透明培养罐内部充满了蓝色的液体，女孩漂浮在罐子中，触摸着罐壁。全身，强调罐内环境	丑陋，变形，嘈杂，模糊，低对比度
图片5	男孩从实验室逃跑，流泪，憎恨，复仇	二次元，暗色调，愤怒与绝望，白发红眼的少年，眼神中充满了愤怒和决心，泪痕，实验室的大门半开，背后是混乱的实验室，少年冲出大门，回头望向实验室，拳头紧握，上半身	丑陋，变形，嘈杂，模糊，低对比度
图片6	多年之后女孩长大	二次元，明亮而优雅，黑发红眼的女子，长发披肩，穿着优雅的红礼服，一个华丽的房间，镜子和挂毯，站在镜子前，轻抚长发，全身，	丑陋，变形，嘈杂，模糊，低对比度
图片7	男孩也长大了，两个人在舞会上相见，一起跳舞	二次元，浪漫而梦幻，白发红眼的青年，眼神温柔，伸出手邀请黑发红眼的女子，一个豪华的舞会大厅，水晶吊灯下，两人在舞池中央，紧紧相拥，全身，捕捉舞蹈动作	丑陋，变形，嘈杂，模糊，低对比度
图片8	最后女孩一个人	二次元，冰冷，黑发红眼女子，红裙子，血迹，上半身，互动和情感交流	丑陋，变形，嘈杂，模糊，低对比度

  我发现我做的图，总有好多不过审，我放了8张图，也不知道能过审几张，上次就把我有张图删了。

 

---

四、微调

   下面拓展几个微调模型，感觉他讲的全是英文，我有的时候听不明白就先粘了几张图，模型的大致介绍，最重要还是使用。详细内容可以点这里（Scepter与WebUI，一站式生成编辑工具箱）。

  

    魔搭社区提供的体验地址里面缺失了微调模型的功能，如果大家希望能使用secpter完整的功能，我们可以将其私有部署到我们自己的服务器。

github地址：https://github.com/modelscope/scepter

参考资料

1. 壹沓AI观察：DALL-E——人工智能让“达利”再世

2. 《AIGC未来已来》

3. AI时代不得不提的“恐怖谷”

4. AI绘画的发展历史（GAN、diffusion、VAE…) 

5. AI绘画很快就能骗过整个互联网了。。。                                                                                 

•   拜拜了咱们task03见，深学模型好难，你们加油。所以为啥csdn上面不能调文字大小，我找不到，啊啊啊啊。