目录
Task2
一、了解 AI 生图
1、为什么要了解 AI 生图
AIGC(AI-Generated Content)是通过人工智能技术自动生成内容的生产方式,很早就有专家指出,AIGC将是未来人工智能的重点方向,也将改造相关行业和领域生产内容的方式。AI生图则是其中最早被大众所熟知并广泛被认可的AIGC领域。
以目前的形式来看,AI生成图片的快速发展,使诸多领域措手不及,如:摄影、美术等艺术领域正在面临前所未有的颠覆。我们所认为的“有图有真相”,甚至理解的现实也将不断被挑战...
我们来简单看看有关 AI 生图的新闻:
AI生成图片拿下国际摄影大奖,外媒炸锅…… (qq.com)https://mp.weixin.qq.com/s/GRW13FDAv82mVrMp5uW4hA
对所有人来说,定期关注AI生图的最新能力情况都十分重要:
-
对于普通人来说,可以避免被常见的AI生图场景欺骗,偶尔也可以通过相关工具绘图
-
对于创作者来说,通过AI生图的工具可以提效,快速制作自己所需要的内容
-
对于技术人来说,了解AI生图的能力的玩法,可以更好地针对自己的业务进行开发和使用,甚至攻克难题开发更实用的工具
2、Deepfake技术
Deepfake是一种使用人工智能技术生成的伪造媒体,特别是视频和音频,它们看起来或听起来非常真实,但实际上是由计算机生成的。这种技术通常涉及到深度学习算法,特别是生成对抗网络(GANs),它们能够学习真实数据的特征,并生成新的、逼真的数据。
Deepfake技术虽然在多个领域展现出其创新潜力,但其滥用也带来了一系列严重的危害。在政治领域,Deepfake可能被用来制造假新闻或操纵舆论,影响选举结果和政治稳定。经济上,它可能破坏企业形象,引发市场恐慌,甚至操纵股市。法律体系也面临挑战,因为伪造的证据可能误导司法判断。此外,深度伪造技术还可能加剧身份盗窃的风险,成为恐怖分子的新工具,煽动暴力和社会动荡,威胁国家安全。
更是由此衍生了Deepfake攻防技术,相信大家或多或少都有看到关于利用视频和音频进行诈骗的相关新闻,一定要警惕Deepfake技术!!!
3、AI生图的历史
AI绘画的发展历史(GAN、diffusion、VAE…) | 人人都是产品经理 (woshipm.com)https://www.woshipm.com/share/6066183.html
4、AI生图的恐怖谷效应
(1)概念:
(2)了解恐怖谷:
AI时代不得不提的“恐怖谷”-36氪 (36kr.com)https://www.36kr.com/p/1722558431233
(3)核心观点:
随着仿真物(如机器人、玩偶等)模拟真实性程度的变化,人们对其亲和力也会产生变化,一般规律是亲和力随着仿真程度增高而增高,但当仿真程度达到一个临界点时,人的亲和反应会陡然跌入谷底,突然产生排斥、恐惧、困惑等负面心理。
5、AI生图的问题
我们现在还可以经常在各类自媒体的文章中看到“AI翻车”的案例,那些往往也是需要解决的难点,某些“翻车”现象,也许在业界已有相关的解决方案。
就比如往前一年,相信大家在使用AI绘画的时候大家就会发现,AI绘画明显不会画“手”,但是今年AI就很迅速的解决了该问题。
参考以下文章:
AI绘画很快就能骗过整个互联网了。。。 (qq.com)https://mp.weixin.qq.com/s/4j_VPsf1fwkG7HJxOl5dnA
AI生图模型获得图片生成能力主要是通过 学习 图片描述 以及 图片特征,尝试将这两者进行一一对应,存储在自己的记忆里。在我们需要的时候,通过输入的文字,复现出来对应的图片特征,从而生成了我们需要的图片。
关于AI是否真正理解了图片背后所代表的世界的特征,是否理解了图片的含义,这个一直是科研界和产业界存在争议的话题,我们唯一可以确定的是——由于每个模型用于训练的数据是有限的且不一定相同的,它们能匹配的描述和特征也是有限的,所以在风格、具体事物上,不同的模型会有很大的生成差异,且可能存在诸多与现实不符的情况。而这些问题,就是业界和科研界持续在想办法解决的问题。
6、辨认AI生图
在大部分生图场景下,我们可能经常会觉得图片存在“AI味”,这很长一段时间也是科研界和相关从业人员非常头大的问题。
*AI味:AI生成的图片和实际生活场景/艺术家创作的绘画/摄影/三维作品 相比,存在强烈的违和感,或是细节处理,或是画面逻辑性存在问题,一言就能被看出是“AI出品”
目前大部分的模型,已经具备了去除 “AI味” 的能力,且可能存在容易误导他人的情况,这时候我们想辨别可能需要非常仔细地——
-
观察图片的细节。仔细检查人物的面部特征,尤其是眼睛和嘴巴
-
检查光线和阴影。分析图片中的光源是否一致,阴影的方向是否与光源相符,是否存在不自然的光线或阴影
-
分析像素。放大图片,寻找是否有模糊或像素化的部分。
-
注意背景。检查背景中是否有不协调的元素,比如物体边缘是否平滑,背景中是否有不自然的重复模式。
而这些细节上的AI特性,也许就是我们在某些特定场景下需要解决的挑战。
二、探索AI生图
可以都试着用用,蛮好玩的(´ ∀ ` *)
1、使用工具
(1)Kolors(可图)模型:
Kolors(可图)模型(点击即可跳转魔搭模型介绍页)是快手开源的文本到图像生成模型,该模型具有对英语和汉语的深刻理解,并能够生成高质量、逼真的图像。过去文生图主要以 SD 系列基础模型为主,仅支持英文的prompt,但可图是支持中文的文生图模型,文生图的prompt格式较为固定。
代码开源链接:https://github.com/Kwai-Kolors/Kolors
模型开源链接:https://modelscope.cn/models/Kwai-Kolors/Kolors
技术报告链接:https://github.com/Kwai-Kolors/Kolors/blob/master/imgs/Kolors_paper.pdf
魔搭研习社最佳实践说明:https://www.modelscope.cn/learn/575?pid=543
可以搭配可图优质咒术书使用,效果更佳:
(2)创意海报生成:
创意海报生成 · 创空间 (modelscope.cn)https://modelscope.cn/studios/iic/PosterGenius
(3)通义千问:
通义tongyi.ai_你的全能AI助手 (aliyun.com)https://tongyi.aliyun.com/qianwen/
(4)通义万相:
通义万相_AI创意作画_AI绘画_人工智能-阿里云 (aliyun.com)https://tongyi.aliyun.com/wanxiang/
2、代码解释
我其实是先分析了代码的架构再来看代码解释的,但是这样代码要放两遍,太长了,所以调换一下位置,建议先看代码架构 (* ̄▽ ̄)b
# 安装 Data-Juicer 和 DiffSynth-Studio
!pip install simple-aesthetics-predictor # 安装simple-aesthetics-predictor
!pip install -v -e data-juicer # 安装data-juicer
!pip uninstall pytorch-lightning -y # 卸载pytorch-lightning
!pip install peft lightning pandas torchvision # 安装 peft lightning pandas torchvision
!pip install -e DiffSynth-Studio # 安装DiffSynth-Studio
# 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime
from modelscope.msdatasets import MsDataset #引入数据集模块msdatasets
ds = MsDataset.load(
'AI-ModelScope/lowres_anime',
subset_name='default',
split='train',
cache_dir="/mnt/workspace/kolors/data" # 指定缓存目录
) # 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime,赋值给参数ds
# 生成数据集
import json, os # 导入json和os模块
from data_juicer.utils.mm_utils import SpecialTokens # 导入SpecialTokens
from tqdm import tqdm # 导入tqdm进度条管理
os.makedirs("./data/lora_dataset/train", exist_ok=True) # 创建文件夹./data/lora_dataset/train
os.makedirs("./data/data-juicer/input", exist_ok=True) # 创建文件夹./data/data-juicer/input
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
for data_id, data in enumerate(tqdm(ds)): # 遍历数据集ds
image = data["image"].convert("RGB") # 将数据集的图片转换为RGB
image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") # 保存数据集的图片
metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} # 生成当前图片的索引数据
f.write(json.dumps(metadata)) # 将索引数据写入文件./data/data-juicer/input/metadata.jsonl
f.write("\n")
# 配置data-juicer,并进行数据筛选过滤
# 配置过滤的规则
data_juicer_config = """
# global parameters
project_name: 'data-process' # 名称
dataset_path: './data/data-juicer/input/metadata.jsonl' # 你前面生成的数据的索引文件
np: 4 # 线程数
text_keys: 'text' # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名
image_key: 'image' # 文件./data/data-juicer/input/metadata.jsonl的图片字段名
image_special_token: '<__dj__image>'
export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件
# process schedule
# a list of several process operators with their arguments
# 过滤的规则
process:
- image_shape_filter: # 图片尺寸过滤
min_width: 1024 # 最小宽度1024
min_height: 1024 # 最小高度1024
any_or_all: any # 符合前面条件的图片才会被保留
- image_aspect_ratio_filter: # 图片长宽比过滤
min_ratio: 0.5 # 最小长宽比0.5
max_ratio: 2.0 # 最大长宽比2.0
any_or_all: any # 符合前面条件的图片才会被保留
"""
# 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
file.write(data_juicer_config.strip())
# data-juicer开始执行数据筛选
!dj-process --config data/data-juicer/data_juicer_config.yaml
# 通过前面通过data-juicer筛选的图片索引信息./data/data-juicer/output/result.jsonl,生成数据集
import pandas as pd # 导入pandas
import os, json # 导入os和json
from PIL import Image # 导入Image
from tqdm import tqdm # 导入tqdm进度条管理
texts, file_names = [], [] # 定义两个空列表,分别存储图片描述和图片名称
os.makedirs("./data/lora_dataset_processed/train", exist_ok=True) # 创建文件夹./data/lora_dataset_processed/train
with open("./data/data-juicer/output/result.jsonl", "r") as file: # 打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl
for data_id, data in enumerate(tqdm(file.readlines())): # 遍历文件./data/data-juicer/output/result.jsonl
data = json.loads(data) # 将json字符串转换为对象
text = data["text"] # 获取对象中的text属性,也就是图片的描述信息
texts.append(text) # 将图片的描述信息添加到texts列表中
image = Image.open(data["image"][0]) # 获取对象中的image属性,也就是图片的路径,然后用这个路径打开图片
image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg" # 生成保存图片的路径
image.save(image_path) # 将图片保存到./data/lora_dataset_processed/train文件夹中
file_names.append(f"{data_id}.jpg") # 将图片名称添加到file_names列表中
data_frame = pd.DataFrame() # 创建空的DataFrame
data_frame["file_name"] = file_names # 将图片名称添加到data_frame中
data_frame["text"] = texts # 将图片描述添加到data_frame中
data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig") # 将data_frame保存到./data/lora_dataset_processed/train/metadata.csv
data_frame # 查看data_frame
# 下载可图模型
from diffsynth import download_models # 导入download_models
download_models(["Kolors", "SDXL-vae-fp16-fix"]) # 下载可图模型
# DiffSynth-Studio提供了可图的Lora训练脚本,查看脚本信息
!python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py -h
# 执行可图Lora训练
import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
--pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型
--pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder
--pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型
--lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时,选择了使用 16 作为秩,适合在不显著降低模型性能的前提下,通过 LoRA 减少计算和内存的需求
--lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值,影响调整的强度
--dataset_path data/lora_dataset_processed \ # 指定数据集路径,用于训练模型
--output_path ./models \ # 指定输出路径,用于保存模型
--max_epochs 1 \ # 设置最大训练轮数为 1
--center_crop \ # 启用中心裁剪,这通常用于图像预处理
--use_gradient_checkpointing \ # 启用梯度检查点技术,以节省内存
--precision "16-mixed" # 指定训练时的精度为混合 16 位精度(half precision),这可以加速训练并减少显存使用
""".strip()
os.system(cmd) # 执行可图Lora训练
# 加载lora微调后的模型
from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline
from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model
import torch # 导入torch
# 加载LoRA配置并注入模型
def load_lora(model, lora_rank, lora_alpha, lora_path):
lora_config = LoraConfig(
r=lora_rank, # 设置LoRA的秩(rank)
lora_alpha=lora_alpha, # 设置LoRA的alpha值,控制LoRA的影响权重
init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布
target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块
)
model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中
state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重
model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中,允许部分权重不匹配
return model # 返回注入LoRA后的模型
# 加载预训练模型
model_manager = ModelManager(
torch_dtype=torch.float16, # 设置模型的数据类型为float16,减少显存占用
device="cuda", # 指定使用GPU进行计算
file_path_list=[
"models/kolors/Kolors/text_encoder", # 文本编码器的路径
"models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径
"models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径
]
)
# 初始化图像生成管道
pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道
# 加载并应用LoRA权重到UNet模型
pipe.unet = load_lora(
pipe.unet,
lora_rank=16, # 设置LoRA的秩(rank),与训练脚本中的参数保持一致
lora_alpha=2.0, # 设置LoRA的alpha值,控制LoRA对模型的影响权重
lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径
)
# 生成图像
torch.manual_seed(0) # 设置随机种子,确保生成的图像具有可重复性。如果想要每次生成不同的图像,可以将种子值改为随机值。
image = pipe(
prompt="二次元,一个紫色短发小女孩,在家中沙发上坐着,双手托着腮,很无聊,全身,粉色连衣裙", # 设置正向提示词,用于指导模型生成图像的内容
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词,模型会避免生成包含这些特征的图像
cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例,数值越高,模型越严格地遵循提示词
num_inference_steps=50, # 设置推理步数,步数越多,生成的图像细节越丰富,但生成时间也更长
height=1024, width=1024, # 设置生成图像的高度和宽度,这里生成 1024x1024 像素的图像
)
image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件
# 图像拼接,展示总体拼接大图
import numpy as np # 导入numpy库,用于处理数组和数值计算
from PIL import Image # 导入PIL库中的Image模块,用于图像处理
images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)] # 读取1.jpg到8.jpg的图像,转换为numpy数组,并存储在列表images中
image = np.concatenate([ # 将四组图像在垂直方向上拼接
np.concatenate(images[0:2], axis=1), # 将第1组(images[0:2])的两张图像在水平方向上拼接
np.concatenate(images[2:4], axis=1), # 将第2组(images[2:4])的两张图像在水平方向上拼接
np.concatenate(images[4:6], axis=1), # 将第3组(images[4:6])的两张图像在水平方向上拼接
np.concatenate(images[6:8], axis=1), # 将第4组(images[6:8])的两张图像在水平方向上拼接
], axis=0) # 将四组拼接后的图像在垂直方向上拼接
image = Image.fromarray(image).resize((1024, 2048)) # 将拼接后的numpy数组转换为图像对象,并调整大小为1024x2048像素
image # 输出最终生成的图像对象,用于显示图像
3、代码架构
这段代码主要涉及几个步骤:数据加载与处理、图像生成以及图像展示。
(1). 环境准备与依赖安装
- 安装依赖包:
- 使用
!pip install
命令安装必要的库,如simple-aesthetics-predictor
,data-juicer
,peft
,lightning
,pandas
,torchvision
等。 - 卸载并重新安装
pytorch-lightning
。 - 安装
DiffSynth-Studio
。
- 使用
(2). 数据加载与预处理
-
加载数据集:
- 使用
modelscope.msdatasets.MsDataset.load
加载名为AI-ModelScope/lowres_anime
的数据集,并指定子集名称和分割类型。 - 设置数据集缓存目录为
/mnt/workspace/kolors/data
。
- 使用
-
创建训练数据集文件夹:
- 创建用于保存训练图像的文件夹
./data/lora_dataset/train
和存放输入元数据的文件夹./data/data-juicer/input
。
- 创建用于保存训练图像的文件夹
-
转换数据集格式:
- 遍历数据集中的每一条记录,将图像转换为 RGB 格式并保存到指定目录。
- 构造包含文本描述和图像路径的元数据,并写入
metadata.jsonl
文件。
(3). 数据过滤与处理
-
配置数据处理规则:
- 定义一个 YAML 配置文件
data/data-juicer/data_juicer_config.yaml
,用于配置数据处理过程,包括过滤条件、输出路径等。
- 定义一个 YAML 配置文件
-
运行数据处理脚本:
- 使用
!dj-process
命令运行数据处理脚本,该命令读取上面定义的配置文件,并应用过滤器对数据集进行处理。
- 使用
(4). 处理后数据的整理
- 整理处理后的数据:
- 从处理后的文件
result.jsonl
中读取数据,提取文本描述和图像路径,并保存为 DataFrame 结构。 - 将整理好的数据保存到 CSV 文件
result.csv
。
- 从处理后的文件
(5). 文本-图像相似性计算
-
加载 CLIP 模型:
- 加载
CLIPModel
和CLIPProcessor
用于计算文本与图像之间的相似度。
- 加载
-
计算相似性得分:
- 使用 CLIP 模型对图像和文本描述进行编码,并计算它们之间的相似性得分。
(6). 数据集封装
-
定义 PyTorch 数据集类:
- 定义一个
CustomDataset
类继承自torch.utils.data.Dataset
,用于封装处理后的数据集。
- 定义一个
-
创建 DataLoader 对象:
- 创建
DataLoader
对象,用于批量加载数据以供模型训练或推理使用。
- 创建
(7). 图像生成
-
加载 StableDiffusionPipeline:
- 加载
StableDiffusionPipeline
用于生成图像。
- 加载
-
生成图像:
- 使用不同的提示(prompt)生成多张图像,并保存到磁盘上。
(8). 图像拼接
- 图像拼接:
- 读取生成的图像,并将它们拼接成一张大图。
- 调整尺寸后展示最终的拼接图像。
4、关键字获取
(1)获取关键词
你是一个文生图专家,我们现在要做一个实战项目,就是要编排一个文生图话剧
话剧由8张场景图片生成,你需要输出每张图片的生图提示词
具体的场景图片
1、女主正在逛街买东西
2、不小心撞到了认识的男孩子
3、东西掉在了地板上,男孩子伸手拉女主
4、女主和男孩子并肩走路
5、两人相谈甚欢
6、两个人一起逛街
7、两个人一起吃晚饭
8、男孩子送女孩子回家
生图提示词要求
1、风格为二次元
2、根据场景确定是使用全身还是上半身
3、人物描述
4、场景描述
5、做啥事情
6、女主是一位蓝色短发穿着白色裙子的少女
例子:
二次元,人山人海,一个蓝色短发少女,白色连衣裙,盯着商品,深思,上半身,喜欢
(2)关键词
1、二次元,商场内人来人往,一个蓝色短发少女穿着白色裙子,认真地看着手中的商品,眼神专注,上半身特写,认真挑选商品
2、二次元,街道上,一个蓝色短发少女穿着白色裙子,不小心撞上了一个帅气的男孩,两人都显得有些惊讶,全身展现,背景是繁忙的街道
3、二次元,街道上,一个蓝色短发少女穿着白色裙子,东西掉落,帅气的男孩伸手帮她捡起并扶住她,全身展现,背景是街道和围观的人群
4、二次元,街道上,一个蓝色短发少女穿着白色裙子,和帅气的男孩并肩走着,两人表情轻松愉快,全身展现,背景是商店和行人
5、二次元,咖啡馆内,一个蓝色短发少女穿着白色裙子,和帅气的男孩面对面坐着交谈,两人脸上带着笑容,上半身特写,背景是温馨的咖啡馆
6、二次元,商场内,一个蓝色短发少女穿着白色裙子,和帅气的男孩一起逛商场,两人脸上洋溢着愉悦的表情,全身展现,背景是商场内部
7、二次元,餐厅内,一个蓝色短发少女穿着白色裙子,和帅气的男孩一起享用晚餐,两人表情幸福满足,上半身特写,背景是餐厅内部
8、二次元,小区门口,一个蓝色短发少女穿着白色裙子,帅气的男孩送她到家门口,两人依依不舍地告别,全身展现,背景是安静的小区
ps:出来的效果图并没有那么好,所以我又自己进行了一小部分的修改。
5、成果展示
嘿嘿,终于又到了我最喜欢的这一块地方了,这次也不出意料的夹带了点私货☆*:.。.o(≧▽≦)o.。.:*☆
话不多说,上图!!
三、总结
熟悉的经典碎碎念 (¬‿¬ )
这一次的使用意外的顺利呢,可能是我第一次使用的众多波折,单是从头开始生成图片就弄了两次(还不包括中间出现的各种问题呢),家人们谁懂啊(◞‸◟;)
这次这组图片中的图3其实和故事线明显不搭,但是我还蛮喜欢这张图片,就留着了o(≧▽≦)o
还有就是我这次故事线的4和6其实是一样的,等到我关闭了实例之后才发现,就没有回去重新修改了,下一次的时候一定注意 ( p′︵‵。)
这次的体验感觉也非常不错呢。期待下一期的内容
感谢各位的观看,如果对AIGC还有兴趣的话,我们下期见!
完结撒花 ヾ(*´∀ ˋ*)ノ