Datawhale X 魔搭 AI夏令营第四期-魔搭生图task2学习笔记-CSDN博客

本文链接：https://blog.csdn.net/m0_55703957/article/details/141127683

精读代码

1.环境安装

!pip install simple-aesthetics-predictor

!pip install -v -e data-juicer

!pip uninstall pytorch-lightning -y
!pip install peft lightning pandas torchvision

!pip install -e DiffSynth-Studio

开始要先把代码中需要使用到的包、库用pip命令安装。

pip命令可以使用在cmd之后的命令窗口和pycharm等编程python语言的终端中

!pip install XXX 是在终端之外的其他地方使用，例如在jupyter notebook,kaggle等网页工具中的代码行中使用!pip install XXX来安装所需的包、库。

2.下载数据集

#下载数据集
from modelscope.msdatasets import MsDataset

ds = MsDataset.load(
    'AI-ModelScope/lowres_anime',
    subset_name='default',
    split='train',
    cache_dir="/mnt/workspace/kolors/data"
)

import json, os
from data_juicer.utils.mm_utils import SpecialTokens
from tqdm import tqdm

os.makedirs("./data/lora_dataset/train", exist_ok=True)
os.makedirs("./data/data-juicer/input", exist_ok=True)
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
    for data_id, data in enumerate(tqdm(ds)):
        image = data["image"].convert("RGB")
        image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg")
        metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]}
        f.write(json.dumps(metadata))
        f.write("\n")

import os 导入os包处理文件

os.makedirs(path[,mode]):递归文件夹创建函数。类似mkdir(), 但创建的所有intermediate-level(中级)文件夹需要包含子文件夹。

os.makedirs() 函数用于递归创建目录。它的参数如下：

name：要创建的目录的路径。可以是单个目录名或包含多个目录的路径。
mode（可选）：指定要创建的目录的权限模式。可省略
exist_ok（可选）：指定如果目录已经存在是否引发异常。如果 exist_ok=True，则不会引发异常；如果 exist_ok=False，那么目录已经存在时会引发 FileExistsError 异常。

使用内置函数open()，将需要写入的文件存放在相应路径中 w:写入 r:读取文件

由于write()方法不会在字符串的结尾添加换行符('\n')所以每次写入后，手动再写入一个换行符

3.处理数据集，保存数据处理结果

data_juicer_config = """
# global parameters
project_name: 'data-process'
dataset_path: './data/data-juicer/input/metadata.jsonl'  # path to your dataset directory or file
np: 4  # number of subprocess to process your dataset

text_keys: 'text'
image_key: 'image'
image_special_token: '<__dj__image>'

export_path: './data/data-juicer/output/result.jsonl'

# process schedule
# a list of several process operators with their arguments
process:
    - image_shape_filter:
        min_width: 1024
        min_height: 1024
        any_or_all: any
    - image_aspect_ratio_filter:
        min_ratio: 0.5
        max_ratio: 2.0
        any_or_all: any
"""
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
    file.write(data_juicer_config.strip())

!dj-process --config data/data-juicer/data_juicer_config.yaml


import pandas as pd
import os, json
from PIL import Image
from tqdm import tqdm


texts, file_names = [], []
os.makedirs("./data/lora_dataset_processed/train", exist_ok=True)
with open("./data/data-juicer/output/result.jsonl", "r") as file:
    for data_id, data in enumerate(tqdm(file.readlines())):
        data = json.loads(data)
        text = data["text"]
        texts.append(text)
        image = Image.open(data["image"][0])
        image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg"
        image.save(image_path)
        file_names.append(f"{data_id}.jpg")
data_frame = pd.DataFrame()
data_frame["file_name"] = file_names
data_frame["text"] = texts
data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig")
data_frame

引入pandas对数据进行处理

使用pd.DataFrame()初始一个二维表格以保存处理好的数据

将二维表保存到本地文件，文件形式为csv。也可以使用to_excel将数据保存为excel表形式，读取时使用read_csv('path'),read_excel('path')

to_csv/to_excel中的常用参数：

path:指定到处的文件路径

sep:指定字段之间的分隔符，默认为逗号，

header:是否写入列名，默认为True

index:是否写入行索引，默认为True

如何使用to_csv()示例：

import pandas as pd
 
# 创建一个简单的DataFrame
df = pd.DataFrame({
    'A': [1, 2, 3],
    'B': [4, 5, 6],
    'C': [7, 8, 9]
})
 
# 导出DataFrame到CSV文件，不包含列名和索引
df.to_csv('output.csv', header=False, index=False)
 
# 导出DataFrame到CSV文件，指定分隔符为制表符'\t'
df.to_csv('output_tsv.csv', sep='\t', index=False)
 
# 导出DataFrame到CSV文件，使用gzip压缩
df.to_csv('output_compressed.csv.gz', compression='gzip', index=False)

图片生成：

torch.manual_seed(0)
image = pipe(
    prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("1.jpg")

torch.manual_seed(0):是pytorch中的一个函数调用，用于设置随机数生成器的种子。

通过指定种子值，来确保每次运行代码时生成的随机数序列是相同的，从而使结果可以重现。

提示词prompt

提示词使用户输入的文字描述。详细说明了希望生成的图像内容、风格、主题等信息，分为正向提示词和负向。

正向提示词：描述希望在图像中看到的内容

时间和季节：描述图像发生的时间（如日出、黄昏、夜晚等）和季节（如春天、夏天、秋天、冬天）。
场景描述：包括自然景观（如山脉、河流、森林、海滩）、城市景观（如天际线、街道、建筑、公园）以及室内场景（如家庭环境、办公室、咖啡馆）。
物体和元素：涵盖自然元素（如植物、动物、水、岩石）、人造物体（如建筑、家具、机械、交通工具）以及抽象元素（如几何形状、符号、图案）。
艺术风格：指定图像应采用的艺术风格，包括传统艺术风格（如现实主义、印象主义、表现主义）和现代艺术风格。

负向提示词：用于指定不希望在生成图像中出现的特征或效果。如低分辨率、暗淡的、扭曲的、嘈杂的等。通过这种方式，用户可以更精细地控制生成的图像，确保它符合自己的期望和需求。

Lora

Stable Diffusion中的Lora（LoRA）模型是一种轻量级的微调方法，它代表了“Low-Rank Adaptation”，即低秩适应。Lora不是指单一的具体模型，而是指一类通过特定微调技术应用于基础模型的扩展应用。在Stable Diffusion这一文本到图像合成模型的框架下，Lora被用来对预训练好的大模型进行针对性优化，以实现对特定主题、风格或任务的精细化控制。

ComfyUI

ComfyUI 是一个工作流工具，主要用于简化和优化 AI 模型的配置和训练过程。通过直观的界面和集成的功能，用户可以轻松地进行模型微调、数据预处理、图像生成等任务，从而提高工作效率和生成效果。

在ComfyUI平台的前端页面上，用户可以基于节点/流程图的界面设计并执行AIGC文生图或者文生视频的pipeline。

参考图控制

ControlNet是一种用于精确控制图像生成过程的技术组件。它是一个附加到预训练的扩散模型（如Stable Diffusion模型）上的可训练神经网络模块。扩散模型通常用于从随机噪声逐渐生成图像的过程，而ControlNet的作用在于引入额外的控制信号，使得用户能够更具体地指导图像生成的各个方面（如姿势关键点、分割图、深度图、颜色等）。