目录
一、用AI的prompts进行AI文生图
上一节Task1的学习中,初步了解并使用了魔搭社区
本节Task2的学习中,用通义千问给出的prompts跑baseline(后文对代码进行初步解读)
‣通义千问
提问公式:你是一个文生图专家,我们现在要做一个实战项目,就是要编排一个文生图话剧 话剧由8张场景图片生成,你需要输出每张图片的生图提示词
具体的场景图片:1、XXX(描述词) 2、XXX 3、XXX ......
生图提示词要求:1.风格 2.根据场景确定是使用全身还是上半身 3.人物描述 4.场景描述 5.做什么事情
例子:XXXXXX.
‣示例如下:
Next⇘
自己在通义的返回的基础上,多多调整,争取打磨出一个最佳的提示词。
结合AI内容,自己在AI结果上做一些调整,最终整理出来场景表格:
图片编号 | 场景描述 | 正向提示词 |
图片1 | 女主正在上课 | 古风,淡雅色调,一个18岁少女,坐在木桌前上课,用手拖着脸,愁眉苦脸,桌上摆放着毛笔和纸卷,背景是古色古香的学堂,上半身特写 |
图片2 | 慢慢睡着 | 古风,柔和光线,同一个18岁少女,头轻轻倚在手臂上,渐渐进入梦乡,周围的同学们用毛笔写字,背景是古色古香的学堂,上半身特写 |
图片3 | 进入梦乡,梦到自己站在路旁 | 欧式风格,梦幻色彩,18岁少女身穿红色公主裙,站在一条青石小道旁,周围是盛开的桃花,微风吹过花瓣飘落,全身展现 |
图片4 | 王子骑马而来 | 欧式风格,鲜艳色彩,英俊王子骑着一匹白马缓缓靠近,红衣少女站在小道上惊讶地望着他,背景是桃树环绕的小径,全身展现 |
图片5 | 两人相谈甚欢 | 欧式风格,温馨氛围,红衣少女与王子并肩而立,在一片花海之中交谈,周围有蝴蝶飞舞,两人都面带微笑,上半身特写 |
图片6 | 一起骑马 | 欧式风格,动态画面,王子和红衣少女共同骑在马上,王子手握缰绳,少女紧紧抓住少年的腰,背景是山川湖泊,全身展现 |
图片7 | 下课 梦醒了 | 古风,淡雅色调,一个18岁少女,坐在学堂内,低着头,叹气,背景是古色古香的学堂,周围同学们开始走动,正面像 |
图片8 | 又回到了学习生活中 | 古风,淡雅色调,同一个18岁少女坐在学堂,专心致志地写着字,背景是充满书香气息的学堂,侧身像 |
‣跑baseline
- 具体操作步骤
- 实操参考来源:Datawhale
- 速进baseline⇒在魔搭社区创建PAI实例仅更换prompts即可
‣结果展示:
‣另,prompts风格补充:
在 Task1 学习中,笔者浅浅探究了prompts风格类型,感谢 Datawhale 和 魔搭社区,在此进行补充:可图优质咒语书 · 数据集 (modelscope.cn)
三、精读baseline
‣原始代码详情
‣分析代码的主题架构 & 分析代码的主题架构
⇘先了解一下文生图代码的框架结构:
▾下面我们就借助前面讲到的 通义千问 来精读这个代码:
提问公式1:
你是一个优秀的python开发工程师,现在我们需要你帮我们分析这个代码的主体框架,你需要把代码按照工作流分成几部分,用中文回答我的问题. + 代码
提问公式2:
你是一个优秀的python开发工程师,现在我们需要你帮我们逐行分析这个代码,用中文回答我的问题. + 代码
提问公式3:
我对其中 + 我的问题 + 还是不太理解,给我再详细介绍一下
.
▾1.环境安装
!pip install simple-aesthetics-predictor
!pip install -v -e data-juicer
!pip uninstall pytorch-lightning -y
!pip install peft lightning pandas torchvision
!pip install -e DiffSynth-Studio
▫代码解读
!pip install simple-aesthetics-predictor
安装特定版本的库 这一行命令用于安装 simple-aesthetics-predictor 库,用于预测美学评分或者与图像质量评估相关。
!pip install -v -e data-juicer
安装本地开发版本的库 这一行命令用于安装
data-juicer
库的一个本地开发版本。
-e
标志表示以可编辑模式安装,可以直接从源代码目录运行项目而不需要重新安装包。-v
表示详细模式,显示详细的安装信息。!pip uninstall pytorch-lightning -y !pip install peft lightning pandas torchvision
卸载旧库并安装新库 这里首先卸载了
pytorch-lightning
库(-y
参数表示自动确认卸载),然后安装了一系列新的库:
peft
: 与 PyTorch 相关的库或工具。lightning
: 这里指的是pytorch-lightning
的简写,用于机器学习模型训练。pandas
: 常用于数据处理和分析的库。torchvision
: 提供了对计算机视觉领域的常用模型、数据集和转换功能的支持。!pip install -e DiffSynth-Studio
安装本地开发版本的库 这一行命令同样用于安装
DiffSynth-Studio
的一个本地开发版本,是一个与音频合成或音乐制作相关的库。
!pip
是一个在 Jupyter Notebook 或 Google Colab 等环境中使用pip
的特殊语法。这里的
!
符号允许你在这些环境中执行 shell 命令,也就是操作系统级别的命令。因此,当在 Jupyter Notebook 或 Colab 中看到
!pip
时,实际上是在调用pip
命令来管理 Python 包。
pip
是 Python 的包管理器,用于安装、升级和卸载 Python 软件包。
▾2.下载数据集
# 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime
from modelscope.msdatasets import MsDataset #引入数据集模块msdatasets
ds = MsDataset.load(
'AI-ModelScope/lowres_anime',
subset_name='default',
split='train',
cache_dir="/mnt/workspace/kolors/data" # 指定缓存目录
) # 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime,赋值给参数ds
# 生成数据集
import json, os # 导入json和os模块
from data_juicer.utils.mm_utils import SpecialTokens # 导入SpecialTokens
from tqdm import tqdm # 导入tqdm进度条管理
os.makedirs("./data/lora_dataset/train", exist_ok=True) # 创建文件夹./data/lora_dataset/train
os.makedirs("./data/data-juicer/input", exist_ok=True) # 创建文件夹./data/data-juicer/input
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
for data_id, data in enumerate(tqdm(ds)): # 遍历数据集ds
image = data["image"].convert("RGB") # 将数据集的图片转换为RGB
image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") # 保存数据集的图片
metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} # 生成当前图片的索引数据
f.write(json.dumps(metadata)) # 将索引数据写入文件./data/data-juicer/input/metadata.jsonl
f.write("\n")
▫代码解读:
from modelscope.msdatasets import MsDataset # 引入数据集模块 msdatasets ds = MsDataset.load( 'AI-ModelScope/lowres_anime', subset_name='default', split='train', cache_dir="/mnt/workspace/kolors/data" # 指定缓存目录 )
加载数据集 这一部分的任务是从ModelScope下载AI-ModelScope/lowres_anime数据集并将其加载到内存中,指定训练集和缓存目录。
import json, os from data_juicer.utils.mm_utils import SpecialTokens from tqdm import tqdm os.makedirs("./data/lora_dataset/train", exist_ok=True) # 创建文件夹 ./data/lora_dataset/train os.makedirs("./data/data-juicer/input", exist_ok=True) # 创建文件夹 ./data/data-juicer/input
创建必要的文件夹 这部分代码创建了两个文件夹,用于存储生成的数据集和元数据文件。
with open("./data/data-juicer/input/metadata.jsonl", "w") as f: for data_id, data in enumerate(tqdm(ds)): # 遍历数据集 ds image = data["image"].convert("RGB") # 将数据集的图片转换为 RGB image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") # 保存数据集的图片 metadata = { "text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"] } # 生成当前图片的索引数据 f.write(json.dumps(metadata)) # 将索引数据写入文件 ./data/data-juicer/input/metadata.jsonl f.write("\n")
处理数据集 这部分代码遍历数据集中的每个项目,转换图片格式,保存图片,并记录每张图片的相关元数据到 JSONL 文件。
▾3.处理数据集,保存数据处理结果
# 配置data-juicer,并进行数据筛选过滤
# 配置过滤的规则
data_juicer_config = """
# global parameters
project_name: 'data-process' # 名称
dataset_path: './data/data-juicer/input/metadata.jsonl' # 你前面生成的数据的索引文件
np: 4 # 线程数
text_keys: 'text' # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名
image_key: 'image' # 文件./data/data-juicer/input/metadata.jsonl的图片字段名
image_special_token: '<__dj__image>'
export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件
# process schedule
# a list of several process operators with their arguments
# 过滤的规则
process:
- image_shape_filter: # 图片尺寸过滤
min_width: 1024 # 最小宽度1024
min_height: 1024 # 最小高度1024
any_or_all: any # 符合前面条件的图片才会被保留
- image_aspect_ratio_filter: # 图片长宽比过滤
min_ratio: 0.5 # 最小长宽比0.5
max_ratio: 2.0 # 最大长宽比2.0
any_or_all: any # 符合前面条件的图片才会被保留
"""
# 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
file.write(data_juicer_config.strip())
# data-juicer开始执行数据筛选
!dj-process --config data/data-juicer/data_juicer_config.yaml
# 通过前面通过data-juicer筛选的图片索引信息./data/data-juicer/output/result.jsonl,生成数据集
import pandas as pd # 导入pandas
import os, json # 导入os和json
from PIL import Image # 导入Image
from tqdm import tqdm # 导入tqdm进度条管理
texts, file_names = [], [] # 定义两个空列表,分别存储图片描述和图片名称
os.makedirs("./data/lora_dataset_processed/train", exist_ok=True) # 创建文件夹./data/lora_dataset_processed/train
with open("./data/data-juicer/output/result.jsonl", "r") as file: # 打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl
for data_id, data in enumerate(tqdm(file.readlines())): # 遍历文件./data/data-juicer/output/result.jsonl
data = json.loads(data) # 将json字符串转换为对象
text = data["text"] # 获取对象中的text属性,也就是图片的描述信息
texts.append(text) # 将图片的描述信息添加到texts列表中
image = Image.open(data["image"][0]) # 获取对象中的image属性,也就是图片的路径,然后用这个路径打开图片
image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg" # 生成保存图片的路径
image.save(image_path) # 将图片保存到./data/lora_dataset_processed/train文件夹中
file_names.append(f"{data_id}.jpg") # 将图片名称添加到file_names列表中
data_frame = pd.DataFrame() # 创建空的DataFrame
data_frame["file_name"] = file_names # 将图片名称添加到data_frame中
data_frame["text"] = texts # 将图片描述添加到data_frame中
data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig") # 将data_frame保存到./data/lora_dataset_processed/train/metadata.csv
data_frame # 查看data_frame
▫代码解读:
data_juicer_config = """ # 全局参数 project_name: 'data-process' # 名称 dataset_path: './data/data-juicer/input/metadata.jsonl' # 前面生成的数据的索引文件 np: 4 # 线程数 text_keys: 'text' # 文件 ./data/data-juicer/input/metadata.jsonl 的描述的字段名 image_key: 'image' # 文件 ./data/data-juicer/input/metadata.jsonl 的图片字段名 image_special_token: '<__dj__image>' export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的索引文件 # 处理计划 # 包含多个处理操作及其参数 process: - image_shape_filter: # 图片尺寸过滤 min_width: 1024 # 最小宽度 1024 min_height: 1024 # 最小高度 1024 any_or_all: any # 符合前面条件的图片才会被保留 - image_aspect_ratio_filter: # 图片长宽比过滤 min_ratio: 0.5 # 最小长宽比 0.5 max_ratio: 2.0 # 最大长宽比 2.0 any_or_all: any # 符合前面条件的图片才会被保留 """ # 保存 data-juicer 配置到 data/data-juicer/data_juicer_config.yaml with open("data/data-juicer/data_juicer_config.yaml", "w") as file: file.write(data_juicer_config.strip()) # data-juicer 开始执行数据筛选 !dj-process --config data/data-juicer/data_juicer_config.yaml
配置数据筛选规则 这部分代码定义了一个 YAML 配置文件,其中包含了数据筛选的规则,包括图片的最小尺寸、长宽比等,用于设置数据筛选的规则。
使用
dj-process
命令行工具根据配置文件执行数据筛选,筛选出符合条件的图片。import pandas as pd import os, json from PIL import Image from tqdm import tqdm texts, file_names = [], [] os.makedirs("./data/lora_dataset_processed/train", exist_ok=True) with open("./data/data-juicer/output/result.jsonl", "r") as file: for data_id, data in enumerate(tqdm(file.readlines())): data = json.loads(data) text = data["text"] texts.append(text) image = Image.open(data["image"][0]) image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg" image.save(image_path) file_names.append(f"{data_id}.jpg") data_frame = pd.DataFrame() data_frame["file_name"] = file_names data_frame["text"] = texts data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig") data_frame
根据筛选结果+生成新的数据集 这部分代码读取了经过筛选后的数据索引文件,并基于这些数据生成了一个新的数据集。
读取筛选后保存的图片索引文件,将符合规则的图片复制到新的文件夹,并生成包含图片文件名和描述信息的 CSV 文件。
▾4.lora微调
# 执行可图Lora训练
import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
--pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型
--pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder
--pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型
--lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时,选择了使用 16 作为秩,适合在不显著降低模型性能的前提下,通过 LoRA 减少计算和内存的需求
--lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值,影响调整的强度
--dataset_path data/lora_dataset_processed \ # 指定数据集路径,用于训练模型
--output_path ./models \ # 指定输出路径,用于保存模型
--max_epochs 1 \ # 设置最大训练轮数为 1
--center_crop \ # 启用中心裁剪,这通常用于图像预处理
--use_gradient_checkpointing \ # 启用梯度检查点技术,以节省内存
--precision "16-mixed" # 指定训练时的精度为混合 16 位精度(half precision),这可以加速训练并减少显存使用
""".strip()
os.system(cmd) # 执行可图Lora训练
▫代码解读:
import os cmd = """ python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ --pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ --lora_rank 16 \ --lora_alpha 4.0 \ --dataset_path data/lora_dataset_processed \ --output_path ./models \ --max_epochs 1 \ --center_crop \ --use_gradient_checkpointing \ --precision "16-mixed" """.strip()
定义训练命令 定义了一个多行字符串
cmd
,其中包含了所有用于启动LoRA训练的命令行参数。这些参数包括:
- 模型路径 (
--pretrained_unet_path
,--pretrained_text_encoder_path
,--pretrained_fp16_vae_path
):指定预训练的模型文件位置。- LoRA参数 (
--lora_rank
,--lora_alpha
):指定LoRA的秩和alpha值,控制LoRA的强度和效果。- 数据集路径 (
--dataset_path
):指定用于训练的数据集的位置。- 输出路径 (
--output_path
):指定训练完成后模型保存的位置。- 训练配置 (
--max_epochs
,--center_crop
,--use_gradient_checkpointing
,--precision
):设置训练的轮数、预处理选项、内存优化选项和训练精度。os.system(cmd)
执行训练命令 使用Python的
os.system()
函数来执行上述定义好的命令字符串,启动训练过程。
▾5.加载微调好的模型
# 加载lora微调后的模型
from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline
from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model
import torch # 导入torch
# 加载LoRA配置并注入模型
def load_lora(model, lora_rank, lora_alpha, lora_path):
lora_config = LoraConfig(
r=lora_rank, # 设置LoRA的秩(rank)
lora_alpha=lora_alpha, # 设置LoRA的alpha值,控制LoRA的影响权重
init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布
target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块
)
model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中
state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重
model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中,允许部分权重不匹配
return model # 返回注入LoRA后的模型
# 加载预训练模型
model_manager = ModelManager(
torch_dtype=torch.float16, # 设置模型的数据类型为float16,减少显存占用
device="cuda", # 指定使用GPU进行计算
file_path_list=[
"models/kolors/Kolors/text_encoder", # 文本编码器的路径
"models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径
"models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径
]
)
# 初始化图像生成管道
pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道
# 加载并应用LoRA权重到UNet模型
pipe.unet = load_lora(
pipe.unet,
lora_rank=16, # 设置LoRA的秩(rank),与训练脚本中的参数保持一致
lora_alpha=2.0, # 设置LoRA的alpha值,控制LoRA对模型的影响权重
lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径
)
▫代码解读:
# 加载lora微调后的模型 from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model import torch # 导入torch
导入必要的库 这部分代码导入了所需的Python库和模块,包括
diffsynth
中的ModelManager
和SDXLImagePipeline
,peft
中的LoraConfig
和inject_adapter_in_model
,以及torch.
定义LoRA加载函数# 加载LoRA配置并注入模型 def load_lora(model, lora_rank, lora_alpha, lora_path): lora_config = LoraConfig( r=lora_rank, # 设置LoRA的秩(rank) lora_alpha=lora_alpha, # 设置LoRA的alpha值,控制LoRA的影响权重 init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布 target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块 ) model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中 state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重 model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中,允许部分权重不匹配 return model # 返回注入LoRA后的模型
- 函数
load_lora
接收模型model
、LoRA的秩lora_rank
、LoRA的alpha值lora_alpha
以及LoRA权重的路径lora_path
作为参数。- 在函数内部,首先创建一个
LoraConfig
实例来配置LoRA的参数。- 使用
inject_adapter_in_model
将LoRA适配器注入到模型中。- 加载LoRA微调后的权重到模型中,并返回注入LoRA后的模型。
# 加载预训练模型 model_manager = ModelManager( torch_dtype=torch.float16, # 设置模型的数据类型为float16,减少显存占用 device="cuda", # 指定使用GPU进行计算 file_path_list=[ "models/kolors/Kolors/text_encoder", # 文本编码器的路径 "models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径 "models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径 ] )
加载预训练模型
- 使用
ModelManager
来管理模型,指定模型的数据类型为torch.float16
以减少显存占用,并指定使用GPU进行计算。- 提供文本编码器、UNet和VAE模型的路径。
# 初始化图像生成管道 pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道
初始化图像生成管道 从
model_manager
中加载模型并初始化SDXLImagePipeline
,这是用于生成图像的管道.# 加载并应用LoRA权重到UNet模型 pipe.unet = load_lora( pipe.unet, lora_rank=16, # 设置LoRA的秩(rank),与训练脚本中的参数保持一致 lora_alpha=2.0, # 设置LoRA的alpha值,控制LoRA对模型的影响权重 lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径 )
加载并应用LoRA权重 调用
load_lora
LoRA权函数,将重加载到pipe.unet
模型中,即UNet模型。
▾6.图片生成
# 生成图像
torch.manual_seed(0) # 设置随机种子,确保生成的图像具有可重复性。如果想要每次生成不同的图像,可以将种子值改为随机值。
image = pipe(
prompt="二次元,一个紫色短发小女孩,在家中沙发上坐着,双手托着腮,很无聊,全身,粉色连衣裙", # 设置正向提示词,用于指导模型生成图像的内容
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词,模型会避免生成包含这些特征的图像
cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例,数值越高,模型越严格地遵循提示词
num_inference_steps=50, # 设置推理步数,步数越多,生成的图像细节越丰富,但生成时间也更长
height=1024, width=1024, # 设置生成图像的高度和宽度,这里生成 1024x1024 像素的图像
)
image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件
▫①生成图像-代码解读:
- 设置随机种子以保证生成的图像可重复。
- 使用
pipe
对象生成一张图像,其中提供了正面提示词和负面提示词来指导图像的生成。
- 设置了生成图像的一些参数,如分类自由度的比例(
cfg_scale
)、推理步数(num_inference_steps
)、图像的高度和宽度等。
- 设置了生成图像的一些参数,如分类自由度的比例(
cfg_scale
)、推理步数(num_inference_steps
)、图像的高度和宽度等。
# 图像拼接,展示总体拼接大图
import numpy as np # 导入numpy库,用于处理数组和数值计算
from PIL import Image # 导入PIL库中的Image模块,用于图像处理
images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)] # 读取1.jpg到8.jpg的图像,转换为numpy数组,并存储在列表images中
image = np.concatenate([ # 将四组图像在垂直方向上拼接
np.concatenate(images[0:2], axis=1), # 将第1组(images[0:2])的两张图像在水平方向上拼接
np.concatenate(images[2:4], axis=1), # 将第2组(images[2:4])的两张图像在水平方向上拼接
np.concatenate(images[4:6], axis=1), # 将第3组(images[4:6])的两张图像在水平方向上拼接
np.concatenate(images[6:8], axis=1), # 将第4组(images[6:8])的两张图像在水平方向上拼接
], axis=0) # 将四组拼接后的图像在垂直方向上拼接
image = Image.fromarray(image).resize((1024, 2048)) # 将拼接后的numpy数组转换为图像对象,并调整大小为1024x2048像素
image # 输出最终生成的图像对象,用于显示图像
▫②图像拼接-代码解读:
- 读取一系列图像文件(从
1.jpg
到8.jpg
),并将它们转换成NumPy数组。- 使用NumPy的
concatenate
函数按指定的方式将图像水平和垂直拼接起来。- 将拼接后的NumPy数组转换回图像对象,并调整其大小。
- 最后输出最终拼接完成的大图像。
附:
▫可图模型文本到图像生成模型
- 代码开源链接:GitHub - Kwai-Kolors/Kolors: Kolors Team
- 模型开源链接:魔搭社区
- 技术报告链接:Kolors/imgs/Kolors_paper.pdf at master · Kwai-Kolors/Kolors · GitHub
- 魔搭研习社最佳实践说明:魔搭社区
▫内容参考来源:Datawhale (linklearner.com)
如果您对本文有任何疑问、建议或想分享自己的经验,请在评论区留言,期待与大家的互动!