目录
前言
这次的任务难度和工作量都上来了。第二个任务主要有三大点:
理解baseline代码(文档里的baseline训练模型那块代码有出入)
学会使用AI来自主学习
学习制作一个话剧连环画
一、理解baseline代码-task1的baseline
注意:以下代码为方便阅读理解,故放在了一起。但不能一键运行跑通。
1. 文生图代码的框架结构
环境准备 >>>
数据集加载与预处理(加载动漫图像数据集、遍历数据集,保存图像并记录元数据)>>>
数据清洗与过滤(使用DataJuicer配置文件定义数据处理规则、应用过滤规则处理数据集)>>>
模型微调(使用DiffSynth-Studio进行模型微调)>>>
加载微调后的模型(加载微调后的Lora模型)>>>
图像生成(设置正负提示词、设置图片尺寸、执行轮数、合成生成的图像)>>> OK
2. 分析代码的主题架构
尝试向语言大模型提问,输入ptompt:
你是一个优秀的python开发工程师,现在我们需要你帮我们分析这个代码的主体框架,你需要把代码按照工作流分成几部分,用中文回答我的问题。{此处替换前面的代码}
回答如下:
这段代码可以分为几个主要的工作流程部分:
第一部分:环境准备和依赖安装
- 安装
simple-aesthetics-predictor
,data-juicer
,peft
,lightning
,pandas
,torchvision
, 和DiffSynth-Studio
包。 - 卸载
pytorch-lightning
并重新安装lightning
。
第二部分:数据集加载与预处理
- 从ModelScope加载
lowres_anime
数据集。 - 遍历数据集,将图像转换为RGB格式并保存到磁盘。
- 创建包含图像路径和文本描述的元数据文件
metadata.jsonl
。
第三部分:数据过滤和处理
- 使用
data-juicer
配置文件来过滤和处理数据,确保图像满足特定尺寸和长宽比的要求。 - 将处理后的数据输出到
result.jsonl
。
第四部分:数据整理与模型应用
- 将处理后的数据转换为Pandas DataFrame,并将其保存为CSV文件。
- 加载CLIP模型和处理器,用于计算图像和文本之间的相似性分数。
- 创建自定义数据集和数据加载器,以便于使用CLIP模型进行批量处理。
第五部分:图像生成
- 使用
StableDiffusionPipeline
模型根据给定的提示和负向提示生成一系列二次元风格的图像。 - 调整不同的随机种子以获得不同的图像结果。
- 合并生成的图像为一张大图并调整其大小。
整个流程涵盖了从数据集的获取、预处理、数据质量控制、特征提取到图像生成的一系列步骤。通过使用不同的工具(如data-juicer
, CLIPModel
, 和 StableDiffusionPipeline
),实现从原始数据到最终生成图像的完整工作流。
单独记录:data-juicer, CLIP, 和SD的关系-CSDN博客
3. 逐行解释代码
首次提问:
你是一个优秀的python开发工程师,现在我们需要你帮我们逐行分析这个代码,用中文回答我的问题。{此处替换前面的代码}
首次回答:
data-juice被它翻译成了数据-榨汁机hh
(AI并没有很好理解“逐行”这个词,于是再次提问)
加问:
逐行分析哦,每一行都标记对应的注释 {先前的代码}(其实应该不用重新复制代码了,会根据前文进行分析的吧)
AI再次回答的结果+结合Datawhale学习文档:
1. 安装库
#安装 simple-aesthetics-predictor 库,该库可用于评估图像的美学质量。
!pip install simple-aesthetics-predictor
#安装 data-juicer 库,并以可编辑模式 (-e) 安装,这意味着如果库源代码有更改,无需重新安装即可生效。
!pip install -v -e data-juicer
#卸载 pytorch-lightning 并安装 peft, lightning, pandas, 和 torchvision,这些都是深度学习和数据处理相关的库。
!pip uninstall pytorch-lightning -y
!pip install peft lightning pandas torchvision
#类似地,以可编辑模式安装 DiffSynth-Studio,但在这个上下文中并未看到其直接使用。
!pip install -e DiffSynth-Studio
2. 加载数据集
#导入 ModelScope 的 MsDataset 类,用于加载数据集
from modelscope.msdatasets import MsDataset
#加载名为 lowres_anime 的数据集(来自魔搭数据集),选择默认子集和训练集分割,缓存到指定目录
ds = MsDataset.load(
'AI-ModelScope/lowres_anime',
subset_name='default',
split='train',
cache_dir="/mnt/workspace/kolors/data"
)
#导入一些标准库和特定模块,如 json 用于处理 JSON 数据,os 用于操作系统相关功能,SpecialTokens 可能用于标记特殊类型的令牌,tqdm 提供进度条
import json, os
from data_juicer.utils.mm_utils import SpecialTokens
from tqdm import tqdm
#创建两个目录,用于存储训练数据和数据-榨汁机的输入文件
os.makedirs("./data/lora_dataset/train", exist_ok=True)
os.makedirs("./data/data-juicer/input", exist_ok=True)
#循环遍历数据集中的每个条目,将图像转换为 RGB 格式,保存图像,并将图像路径和固定文本描述写入 JSONL 文件。
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
for data_id, data in enumerate(tqdm(ds)): #遍历数据集
image = data["image"].convert("RGB") #将图像转换为 RGB 格式
image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") #保存图像
metadata = {"text": "二次元", "image":
[f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} #生成当前图片的索引数据
f.write(json.dumps(metadata)) #将索引数据写入文件
f.write("\n")
3. 数据预处理
#配置过滤的规则。定义一个 YAML 配置字符串,设置数据处理的参数,然后将此配置写入文件。
data_juicer_config = """
# 全局参数
project_name: 'data-process'
dataset_path: './data/data-juicer/input/metadata.jsonl' # 前面生成的数据的索引文件
np: 4 # 处理数据集的子进程数量(线程数)
text_keys: 'text' # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名
image_key: 'image' # 文件./data/data-juicer/input/metadata.jsonl的图片字段名
image_special_token: '<__dj__image>' #<__dj__image> 标记告诉模型接下来的部分是图像数据,而不是文本。模型可以使用这个标记来区分文本和图像输入
export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件
# 处理计划
# 包含多个处理操作符及其参数的列表(即过滤规则)
process:
- image_shape_filter: # 图片尺寸过滤
min_width: 1024 # 最小宽度1024
min_height: 1024 # 最小高度1024
any_or_all: any # 符合前面条件的图片才会被保留
- image_aspect_ratio_filter: # 图片长宽比过滤
min_ratio: 0.5 # 最小长宽比0.5
max_ratio: 2.0 # 最大长宽比2.0
any_or_all: any # 符合前面条件的图片才会被保留
"""
# 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml
# 详细解释:打开(或创建)一个名为 data_juicer_config.yaml 的文件,然后将 data_juicer_config 字符串中的内容写入到这个文件中,同时确保写入的内容没有多余的前后空白。这样做是为了创建一个 YAML 配置文件,后续可以被其他程序读取和解析,以获取配置参数。
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
file.write(data_juicer_config.strip())
#执行数据处理命令,使用前面定义的配置文件对数据集进行预处理
!dj-process --config data/data-juicer/data_juicer_config.yaml
# 读取经过data-juice处理后的输出文件,提取文本描述和图像路径,准备将它们转换为 Pandas DataFrame
import pandas as pd
import os, json
from PIL import Image
from tqdm import tqdm # 导入tqdm进度条管理
texts, file_names = [], [] # 定义两个空列表,分别存储图片描述和图片名称
os.makedirs("./data/data-juicer/output/images", exist_ok=True) # 创建文件
with open("./data/data-juicer/output/result.jsonl", "r") as f: # 以只读模式打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl
for line in tqdm(f): # 开始一个循环,遍历文件中的每一行。tqdm(f) 将文件对象 f 传递给 tqdm 函数,tqdm 是一个进度条库,它会为循环添加一个进度条,使得长时间的文件读取操作可视化,便于观察进度。
metadata = json.loads(line) #存储json.load对每一行的解析结果
#将 metadata 字典中 "text" 键对应的值添加到前面定义的储存图片描述的列表 texts 中,image同理
texts.append(metadata["text"])
file_names.append(metadata["image"][0])
#创建 DataFrame,保存为 CSV 文件。
df = pd.DataFrame({"text": texts, "file_name": file_names})
df.to_csv("./data/data-juicer/output/result.csv", index=False)
#输出 DataFrame,可能是在 Jupyter Notebook 或类似环境中显示数据
df
4. 模型训练-文-图-特征
(1)CLIP模型-直接处理整个数据集
使用CLIPProcessor
进行预处理,然后将预处理后的数据输入到CLIPModel
中进行计算,得到图像和文本的相似度得分,最后将得分转化为概率。
这种方法在处理大型数据集时可能会占用大量内存,因为它试图一次性将所有数据加载到内存中。
#加载 CLIP 模型和处理器,用于计算图像和文本之间的相似性。
from transformers import CLIPProcessor, CLIPModel
import torch
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")
#读取图像,使用 CLIP 处理器处理图像和文本。
images = [Image.open(img_path) for img_path in df["file_name"]]
inputs = processor(text=df["text"].tolist(), images=images, return_tensors="pt", padding=True)
#使用 CLIP 模型计算相似性得分和概率
outputs = model(**inputs)
logits_per_image = outputs.logits_per_image # 图像-文本相似性得分
probs = logits_per_image.softmax(dim=1) # 取 softmax 获取概率
probs
(2)CLIP模型-分批次处理数据集
定义了一个CustomDataset
类,该类继承自torch.utils.data.Dataset
,并重写了__init__
, __len__
, 和 __getitem__
方法。CustomDataset
在初始化时加载所有图像和文本数据,并在__getitem__
方法中按需处理单个样本。接着,创建了一个DataLoader
实例,该实例负责从CustomDataset
中批量加载数据,并在每次迭代时提供一个批次。
这种方式在处理大数据集时尤其有用,因为它避免了一次性加载所有数据到内存中,而是按需加载和处理数据。
#加载 CLIP 模型和处理器,用于计算图像和文本之间的相似性。
from transformers import CLIPProcessor, CLIPModel
import torch
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")
# 这段代码展示了如何使用PyTorch构建一个自定义的数据集类和数据加载器(DataLoader),以及如何使用这个数据加载器来迭代数据并进行模型计算。
# 导入两个类,Dataset是一个抽象基类,代表了一个数据集,而DataLoader则是一个迭代器,它可以自动地加载和批处理数据。
from torch.utils.data import Dataset, DataLoader
# 定义自定义数据集类,继承自 PyTorch 的 Dataset 类
class CustomDataset(Dataset):
# 初始化方法接收一个DataFrame (df) 和一个处理器对象 (processor)
def __init__(self, df, processor):
self.texts = df["text"].tolist()
self.images = [Image.open(img_path) for img_path in df["file_name"]]
self.processor = processor
# 返回数据集中样本的数量
def __len__(self):
return len(self.texts)
# 根据索引idx获取单个样本,并使用processor对文本和图像进行预处理,生成PyTorch张量,并返回
def __getitem__(self, idx):
inputs = self.processor(text=self.texts[idx], images=self.images[idx], return_tensors="pt", padding=True)
return inputs
#创建数据集实例和 DataLoader
dataset = CustomDataset(df, processor)
dataloader = DataLoader(dataset, batch_size=8) # 每个批次包含8个样本
#迭代 DataLoader 中的批次,使用模型进行计算
for batch in dataloader:
# 在 DataLoader 中迭代批次数据,使用模型进行计算
outputs = model(**batch)
logits_per_image = outputs.logits_per_image
probs = logits_per_image.softmax(dim=1)
print(probs)
【这部分不知道能不能完整跑出来-搁置一下,之后会尝试的】
将baseline的4(3)修改为4(2)部分,加载CLIP模型和处理器的时候 就报错了,可能是网络原因?之后再尝试一下
(3)Datawhale提供的学习文档-使用的可图模型Lora(下接6)
在比对学习的时候,发现这块代码与4.(1)(2)有所不同
# 下载可图模型
from diffsynth import download_models # 导入download_models
download_models(["Kolors", "SDXL-vae-fp16-fix"]) # 下载可图模型
# DiffSynth-Studio提供了可图的Lora训练脚本,查看脚本信息
!python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py -h
# 执行可图Lora训练
import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
--pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型
--pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder
--pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型
--lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时,选择了使用 16 作为秩,适合在不显著降低模型性能的前提下,通过 LoRA 减少计算和内存的需求
--lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值,影响调整的强度
--dataset_path data/lora_dataset_processed \ # 指定数据集路径,用于训练模型
--output_path ./models \ # 指定输出路径,用于保存模型
--max_epochs 1 \ # 设置最大训练轮数为 1
--center_crop \ # 启用中心裁剪,这通常用于图像预处理
--use_gradient_checkpointing \ # 启用梯度检查点技术,以节省内存
--precision "16-mixed" # 指定训练时的精度为混合 16 位精度(half precision),这可以加速训练并减少显存使用
""".strip()
os.system(cmd) # 执行可图Lora训练
# 加载lora微调后的模型
from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline
from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model
import torch # 导入torch
# 加载LoRA配置并注入模型
def load_lora(model, lora_rank, lora_alpha, lora_path):
lora_config = LoraConfig(
r=lora_rank, # 设置LoRA的秩(rank)
lora_alpha=lora_alpha, # 设置LoRA的alpha值,控制LoRA的影响权重
init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布
target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块
)
model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中
state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重
model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中,允许部分权重不匹配
return model # 返回注入LoRA后的模型
# 加载预训练模型
model_manager = ModelManager(
torch_dtype=torch.float16, # 设置模型的数据类型为float16,减少显存占用
device="cuda", # 指定使用GPU进行计算
file_path_list=[
"models/kolors/Kolors/text_encoder", # 文本编码器的路径
"models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径
"models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径
]
)
# 初始化图像生成管道
pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道
# 加载并应用LoRA权重到UNet模型
pipe.unet = load_lora(
pipe.unet,
lora_rank=16, # 设置LoRA的秩(rank),与训练脚本中的参数保持一致
lora_alpha=2.0, # 设置LoRA的alpha值,控制LoRA对模型的影响权重
lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径
)
# 生成图像
torch.manual_seed(0) # 设置随机种子,确保生成的图像具有可重复性。如果想要每次生成不同的图像,可以将种子值改为随机值。
image = pipe(
prompt="二次元,一个紫色短发小女孩,在家中沙发上坐着,双手托着腮,很无聊,全身,粉色连衣裙", # 设置正向提示词,用于指导模型生成图像的内容
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词,模型会避免生成包含这些特征的图像
cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例,数值越高,模型越严格地遵循提示词
num_inference_steps=50, # 设置推理步数,步数越多,生成的图像细节越丰富,但生成时间也更长
height=1024, width=1024, # 设置生成图像的高度和宽度,这里生成 1024x1024 像素的图像
)
image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件
训练阶段:
首先下载了Kolors和SDXL-vae-fp16-fix模型,这些模型用于图像生成任务。然后,使用`train_kolors_lora.py`脚本来训练LoRA权重,这个过程是在Kolors和SDXL-vae-fp16-fix模型的基础上进行的。LoRA训练脚本会根据指定的参数(如unet、text_encoder和vae路径,以及训练设置)微调模型,以适应特定的数据集。
应用阶段:
在训练完成后,代码展示了如何加载LoRA微调后的模型。这里使用了`ModelManager`和`SDXLImagePipeline`来加载预训练的模型组件,并通过`load_lora`函数将LoRA权重注入到模型中。这样,模型就能够根据LoRA的微调来生成图像,而不仅仅是依赖于原始的预训练权重。
5. SD模型文生图-上接4.(1)|(2)
#加载 StableDiffusionPipeline,设置随机种子并移动模型到 GPU
import torch
from diffusers import StableDiffusionPipeline
torch.manual_seed(1) # 设置了随机种子,确保每次运行代码时生成的结果是可重复的
pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v-1-4", torch_dtype=torch.float16) # 创建了一个StableDiffusionPipeline实例,并从Hugging Face的模型库中加载了预训练的Stable Diffusion模型版本1.4。torch_dtype=torch.float16 指定了模型权重的数据类型为半精度浮点数,这有助于减少GPU内存消耗
pipe = pipe.to("cuda") 将模型移动到CUDA设备上(通常是GPU),以便利用GPU加速计算
#定义了生成图像的正向和反向提示,以及模型的一些参数
prompt = "二次元,一个紫色长发小女孩穿着粉色吊带漏肩连衣裙,在练习室练习唱歌,手持话筒"
negative_prompt = "丑陋、变形、嘈杂、模糊、低对比度"
guidance_scale = 4 #控制着模型遵循提示的程度
num_inference_steps = 50 #生成过程中的迭代步数
#调用了pipe对象的生成函数,传入了前面定义的参数
image = pipe(
prompt=prompt,
negative_prompt=negative_prompt,
guidance_scale=guidance_scale,
num_inference_steps=num_inference_steps,
height=1024,
width=1024,
).images[0]
image.save("example_image.png") #保存生成的图像
image
from PIL import Image
torch.manual_seed(1) # 设置随机种子,确保生成的图像具有可重复性。如果想要每次生成不同的图像,可以将种子值改为随机值。
image = pipe(
prompt="二次元,日系动漫,演唱会的观众席,人山人海,一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席,舞台上衣着华丽的歌星们在唱歌", # 设置正向提示词,用于指导模型生成图像的内容
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词,模型会避免生成包含这些特征的图像
cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例,数值越高,模型越严格地遵循提示词,限度是0-15
num_inference_steps=50, # 设置推理步数,步数越多,生成的图像细节越丰富,但生成时间也更长
height=1024, width=1024, # 设置生成图像的高度和宽度,这里生成 1024x1024 像素的图像
)
image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件
6. 拼接图像
#读取之前生成的图像,将它们拼接成一个大图像,并调整大小。
import numpy as np # 导入numpy库,用于处理数组和数值计算
from PIL import Image # 导入PIL库中的Image模块,用于图像处理
images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)] # 读取1.jpg到8.jpg的图像,转换为numpy数组,并存储在列表images中
image = np.concatenate([ # 将四组图像在垂直方向上拼接(axis = 0垂直,axis = 1水平)
np.concatenate(images[0:2], axis=1), # 将第1组(images[0:2])的两张图像在水平方向上拼接
np.concatenate(images[2:4], axis=1),
np.concatenate(images[4:6], axis=1),
np.concatenate(images[6:8], axis=1),
], axis=0) # 将四组拼接后的图像在垂直方向上拼接
image = Image.fromarray(image).resize((1024, 2048)) # 将拼接后的numpy数组转换为图像对象,并调整大小为1024x2048像素
image # 输出最终生成的图像对象,用于显示图像
PS:如果还是有不懂的,可以向AI追问:
我对其中{替换成你的问题}还是不太理解,给我再详细介绍一下
之前我遇到不懂的问题的时候,总是习惯性打开搜索引擎进行搜索,哪怕是在AI出现之后,我也下意识地自行去寻找解决答案,但现在,慢慢有所转变,因为AI收集了全网的广泛数据,他的检索能力比我要快得多,我可以借助他的帮助来更快的找到解决办法,而不需要在寻找和筛选上花费太多时间。希望我们养成使用AI的习惯,提高工作和学习效率。
二、实战——创作话剧连环画
1. 数据准备
1.1 提示词准备
还是可以借助AI
(1)我们自己先明确8个具体的场景,思考要表达一个怎样的故事,用文字描述出来,词组和短句均可
(2)明确提示词的要求(风格、全身or半身、状态情景描述等)
(3)也可以给出示例,让其进行模仿学习
可图还提供了优质的提示词参考:可图优质咒语书 · 数据集 (modelscope.cn)
于是,我想尝试一下“电影歌星画风”哈哈,示例是这样的,不知道我绘制出来是如何。
对AI的提问:
你是一个文生图专家,我们现在要做一个实战项目,就是要编排一个文生图话剧
话剧由8张场景图片生成,你需要输出每张图片的生图提示词
具体的场景图片
1、男主正在写日记
2、抬头看见窗外的小树
3、陷入回忆,自己刚来到这里的时候
4、还是遍地黄沙,刚好遇到沙尘暴
5、来到亮灯的木屋
6、躺在沙漠上看星星,畅想未来
7、种树
8、沙漠变绿洲
生图提示词要求
1、风格为电影歌星画风
2、根据场景确定是使用全身还是上半身
3、人物描述
4、场景描述
5、做啥事情
例子:
prompt:电影歌星画风,超高清、8K、超精细、{prompt} 的电影照片、美丽的灯光、出色的构图
native prompt:丑陋、变形、嘈杂、模糊、不适合工作场所
1.2 话剧的画面描述
结合AI给的回答以及自己再进行了一点修改。
#图1-场景描述-正向prompt
男主正在写日记
电影歌星画风,上半身,一个黑色短发的男人,坐在木质书桌前,低头专注写日记,
透过窗可见沙漠中的树木,超高清、超精细、出色构图、现代。
#图2
抬头看见窗外的小树
电影歌星画风,上半身,男主角靠在窗边回忆,望向窗外一棵棵刚开始生长的小树,
是沙漠边缘的绿意初现,超高清、现代、出色构图
#图3
陷入回忆,自己刚来到这里的时候
电影歌星画风,全身背影远景,几年前的男主角站在沙漠中,身后是落日余晖,
手中拿着一把铁锹,表情坚定,远处有几棵树苗,超高清、出色的构图、现代
#图4
还是遍地黄沙,刚好遇到沙尘暴
电影歌星画风,全身,一个男人在沙尘暴中艰难前行,戴着防护眼镜和围巾,
低头看指南针,漫天黄沙,满身黄沙,超高清、出色的构图、现代、远景
#图5
来到亮灯的木屋
电影歌星画风,天黑了,沙漠里,一个男人背着行李疲惫行走,来到一间亮灯的木屋,
超高清、出色的构图、现代、背影
#图6
躺在沙漠上看星星,畅想未来
电影歌星画风,全身,一个男人仰卧躺在沙漠上、看着满天繁星,超高清、
8K、超精细、出色的构图、现代、沙漠、摄影视角侧面
#图7
种树
电影歌星画风,全身,沙漠里,一个男人站在沙漠上,鞋子露出来,
他弯腰双手用铁铲挖坑种植一棵小树,远处有稀稀疏疏的树木、现代
#图8
沙漠变绿洲
电影歌星画风,全身背影,一个男人张开双臂,背景是绿意盎然的沙漠绿洲,
太阳即将落山,超高清、8K、超精细、出色的构图、现代、中远景
反向prompt:丑陋、变形、嘈杂、模糊、低对比度、扭曲的手指,多余的手指、色情擦边
2. 执行Task1的30分钟速通Baseline
进入baseline文件 >>> 找到生成图像的板块 >>>依次替换8张图片的正向提示词和反向提示词 >>>从生成图像开始依次点击运行 (但我遇到了torch的错误,需要先点击上一个代码块再运行一次import torch后,再点击运行生成图像)
3.结果展示
让我们来看看跑出来的图片吧。(从左往右1-2)
一开始跑出来的图片感觉总是不太满意,人物的样子不太一致,然后发现随机种子torch.manual_seed(1) 不一致,更改后好很多。
PS:(1)有些图是在多次调整后绘制的,比如第七张,好吧,最终版忽视了左手的存在,当时光顾着看鞋子有没有露出来了。。。
(2)展现在这里的是后来换了一下提示词和主角哈哈,再生成了比较满意的图片,先前的有点一言难尽,或许是我的提示词描述不够准确。大家有好的建议欢迎私信和评论,让我高效学习提示词技巧哈哈,先行感谢!实战——Datawhale-AI夏令营-创作话剧连环画-fail-CSDN博客
4.测试美学打分
4.1 参考代码
#安装包,预测图像的美学分数
pip install simple-aesthetics-predictor
import torch, os #导入PyTorch库(用于深度学习)和操作系统库(用于文件和目录操作)
from PIL import Image #导入Image模块,用于处理图像数据
from transformers import CLIPProcessor #用于预处理输入数据以供模型使用的工具
from aesthetics_predictor import AestheticsPredictorV2Linear #用于预测美学分数的具体模型
from modelscope import snapshot_download #用于下载模型快照
#下载指定的模型到本地,并返回模型的本地路径。模型将被缓存在models/目录下
model_id = snapshot_download('AI-ModelScope/aesthetics-predictor-v2-sac-logos-ava1-l14-linearMSE', cache_dir="models/")
#从下载的模型路径加载预训练的美学预测模型
predictor = AestheticsPredictorV2Linear.from_pretrained(model_id)
#加载预训练的CLIP处理器,用于图像预处理
processor = CLIPProcessor.from_pretrained(model_id)
#设定设备为GPU,如果可用的话可加速计算过程
device = "cuda"
#将模型移动到指定的设备上,这里是GPU
predictor = predictor.to(device)
#义一个函数evaluate,它接收一个包含图像的文件夹作为输入,返回所有图像的平均美学分数
def get_aesthetics_score(image):
inputs = processor(images=image, return_tensors="pt")
inputs = {k: v.to(device) for k, v in inputs.items()}
with torch.no_grad():
outputs = predictor(**inputs)
prediction = outputs.logits
return prediction.tolist()[0][0]
#计算一个文件夹中所有图像的美学平均分数
def evaluate(folder):
scores = []
for file_name in os.listdir(folder):
if os.path.isfile(os.path.join(folder, file_name)):
image = Image.open(os.path.join(folder, file_name))
scores.append(get_aesthetics_score(image))
if len(scores) == 0:
return 0
else:
return sum(scores) / len(scores)
score = evaluate("./images")
print(score)
4.2 美学评分
打开baseline文件,在kolors目录下新建文件夹命名为“images”,讲先前绘制的8张图复制or移动到images文件夹中,在原本的baseline文件代码末添加关于美学评分的代码,要先安装对应包,再计算评分,两者要分开运行,不然会报错。
我的评分是6.5哈哈,好吧,继续努力。
三、知识扩展-AI生图技术
1. 简单回顾AI生图历史-从工具视角
20世纪70年代,最早的AI生图,其实是通过机械臂进行绘画。
现代AI生图模型,多基于深度神经网络基础。
2012年,吴恩达老师使用卷积神经网络(CNN)训练的”猫脸“模型。
2015年,谷歌推出”深梦“(Deep Dream)图像生成工具,给图片添加梦幻感滤镜。
2021年1月,OpenAI推出DALL-E模型(深度学习算法模型),直接从文本提示“按需创造”风格多样的图形设计。
2022年8月,AI生图真正走进了大众的视野,让各个领域无法忽视。
一般来说,AI生图模型属于多模态机器学习模型,海量的图库+文本描述,深度神经网络学习,最终的目标是可以根据输入的指示(不管是文本还是图片还是任何)生成符合语义的图片。
2. AI生图技术的现实应用利弊
AIGC(AI-Generated Content)是通过人工智能技术自动生成内容的生产方式。AI生图则是其中最早被大众所熟知并广泛被认可的AIGC领域,其也被广泛运用在现实中。
比如,
AI生成的图片去参加摄影比赛并获奖。AI作品赢得摄影大奖的埃尔达森认为,AI生成图像不会威胁人类的创造力。他建议,为了区分摄影(photography)和AI生成图像,应该给后者起个名字—— “promptography(提示词摄影)”,因为AI生成图像是人们通过在AI工具中输入提示词(prompt)来实现的。
AI生成图像“穿羽绒服的教皇”在外网疯传,这些图片会有一些破绽,但很多网友当时都被骗了。
这让我想到之前浏览到的一篇文章,用AI生成的科研绘图有着明显的错误。
我们总是认为眼见为实,现在眼见也不一定为实了。AI生图除了可以帮助我们绘制出需要的图片,但我们也有可能会被图片所欺骗,不当使用也会造成不良影响。所以,定期关注AI生图的最新进展和能力也很重要。
AI是否真正理解了图片背后所代表的世界的特征,是否理解了图片的含义,这个一直是科研界和产业界存在争议的话题,我们唯一可以确定的是——每个模型用于训练的数据是有限的且不一定相同的,它们能匹配的描述和特征也是有限的,所以在风格、具体事物上,不同的模型会有很大的生成差异,且可能存在诸多与现实不符的情况。
PS:我们还是要保持独立思考的能力啊。
3. 探索AI生图前沿
可以去询问语言大模型(比如:辅助助手-通义千问通义tongyi.ai_你的全能AI助手 (aliyun.com)),但对于我们小白而言可能会毫无头绪,不过也可以慢慢询问。另外,可以考虑加入魔搭社区,去系统探索AIGC的世界。
我也是在看了这次的学习文档才发现,原来魔搭社区的首页分区有很多值得探索的地方啊,原来可以在开源数据集里寻找需要的数据,比如task1的相关绘图数据,还是我不够主动去学习啊,记录下来,督促自己,提升自学能力,遇到不会的可以考虑询问大语言模型哈哈。
Kolors(可图)模型(点击即可跳转魔搭模型介绍页) 是快手开源的文生图模型,该模型具有对英语和汉语的深刻理解,并能够生成高质量、逼真的图像。可图还提供了优质的提示词参考:可图优质咒语书 · 数据集 (modelscope.cn),可以使用在我们的学习中。
个人思考
- task1的baseline的大体流程是:将魔搭社区提供的数据集进行清洗过滤,使用可图提供的Lora模型(训练和加载),根据提示词生成图片,合并图片。
- 对于baseline代码的理解仅停留在文字表面解析,课后要去补充python基础知识
- 如何绘制出满意的图片,我还需要进一步的学习,如何让AI更好地理解我的prompt
- 当我看到DALL-E模型可以进行风格多样的图形设计时,有点震惊,这是不是可以提升设计师们的工作效率呢,作为一位牛油果爱好者,好喜欢这些图片的家具风格啊哈哈。
- 自己时不时会浏览到关于AI的新进展新闻,有时也会想,我应该要去尝试一下AI了,但又不知道该如何去应用,没有找到适合自己的细分领域。也是机缘巧合,浏览到了Datawhale举办的AI夏令营,于是我想,为何不尝试迈出这一步呢,然后,AI也在慢慢进入我的日常工作生活里啦。
- 相信之后会有更多可以应用AI的地方!继续学习!
【参考】
《Datawhale 学习指南》
AI生成图片拿下国际摄影大奖,外媒炸锅…… (qq.com)
又一中国论文因错误AI配图“出圈”,作者回应称“无力支付高昂插图费用”;陕师大通报教师涉嫌性骚扰:警方已介入 | 科研圈日报 (qq.com)