Stable Diffusion WebUI从入门到精通（三）

本文链接：https://blog.csdn.net/2401_83048197/article/details/145607891

第十一部分：图生图原理

11.1 图生图的概念和基本逻辑

** **

什么是图生图？

图生图（Image-to-Image Translation）是一种计算机视觉技术，通过输入一张图像，让 AI 模型生成另一张基于输入图像的图像。这个过程通常涉及改变输入图像的风格、内容或特定特征，同时保持其整体结构。

基本逻辑

图生图技术主要基于生成对抗网络（GANs）和条件生成对抗网络（cGANs）。以下是基本逻辑：

输入图像：提供一张原始图像作为输入。
条件输入：输入图像的特定特征或附加描述，作为生成过程的条件。
生成模型：模型根据输入图像和条件，生成新的图像。
输出图像：生成的图像在保持原始结构的基础上，应用了新的特征或风格。

应用示例

风格迁移：将输入图像转换为特定艺术风格，如将照片变成二次元风格。
图像修复：修复受损图像或填补缺失部分。
图像增强：提高图像分辨率或改善图像质量。

1.2 图片作为信息传递给 AI 的意义

这份完整版的stable diffusion资料我已经打包好，需要的点击下方插件，即可前往免费领取！

信息传递

有时，仅通过文字描述可能不足以完全传达你的需求。此时，提供参考图片或案例可以更直观地帮助 AI 理解你的需求。

在图生图任务中，输入图像不仅提供了视觉信息，还包含了很多隐含的信息，如颜色、纹理、形状等。AI 模型利用这些信息来理解和处理输入图像，从而生成符合预期的输出图像。

关键要素

内容：输入图像的主要对象和结构。
风格：图像的颜色、纹理和整体感觉。
细节：小的特征和细节，如边缘、阴影等。

步骤

寻找类似图片：在互联网上搜索与你想要生成的图像相似的图片。这些图片可以作为参考，帮助 AI 更好地理解你的需求。
标注关键要素：在参考图片上标注出你认为重要的元素，如颜色、构图、光照等。
结合文字描述：将参考图片与详细的文字描述结合起来，提供给 AI 作为输入。

第十二部分：图生图流程

12.1 图生图的基本步骤

图生图（Image-to-Image Translation）是一种强大的技术，通过三步法可以轻松实现从一张图像到另一张图像的转换。以下是基本的三步流程：

第一步：准备输入图像

输入图像是图生图过程的基础，它提供了图像的基本结构和内容。

选择图像：选择一张清晰且符合需求的图像作为输入。
图像预处理：如果输入图像质量不高，可以进行一些预处理，如去噪、调整亮度和对比度等。

第二步：设置提示词和参数

提示词和参数决定了生成图像的风格和细节。合理的设置可以显著提升生成效果。

正向提示词：1man,light blue jersey,roar,blond,slicked-back hair,(masterpiece:1.2), best quality,masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG: 1.2),drawing,

反向提示词：NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(badproportions:1.331),extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extraarms and legs))),

提示词：简单描述你想要生成的图像特征，并加上我们之前学的标准化提示词。
- 示例：
设置参数：根据具体需求调整参数。
- 采样方法 (Sampler)：如 DPM++ 2M, Euler a 等。（原理和文生图一样，参考第二课教程）
- 调度类型 (Schedule Type)：用于控制采样过程中各步长的调度方式。（原理和文生图一样，参考第二课教程）
- 迭代步数 (Steps)：一般设置为10-40，根据需要调整。（原理和文生图一样，参考第二课教程）
- 提示词引导系数 (CFG Scale)：设置为7-12，调整提示词对生成图像的影响程度。
- 重绘幅度：它是一个非常重要的参数，它决定了生成的图像与原始输入图像之间的相似程度。
- 重绘尺寸：重绘尺寸的大小不一定需要和原图一样，但比例建议和原图一致。
- 细节修复(ADetailer)：建议勾选启用人脸修复，可使出图时减少人脸的错误。

第三步：生成和调整图像

在生成图像后，如果对于结果不满意，可以尝试调整重绘幅度和其他细节参数并多次生成图像，直到达到满意的效果。

12.2 提示词与参数的技术性解析

提示词的构成和优化

提示词是生成图像的核心，其构成和优化对生成效果有重大影响。

关键元素：明确描述图像的主要元素和细节。
- 主体：如“1man”，“1girl”。
- 特征：如“blond”，“slicked-back hair”。
标准化提示词：用于控制图像整体质量和风格。
- 示例：best quality,ultra-detailed,masterpiece,hires,8k
权重调整：使用括号和数字调整不同部分的权重，突出重要特征。
- 示例：`(light blue jersey:1.3)```

提示词学习

outdoor/indoor：可以调整场景在室外/室内。
xxx in the background：可以在图片背景中添加想要生成的内容。
depth of field：景深（DOF）描述了图像中焦点清晰的区域范围，它指的是从前景到背景中清晰成像的范围。景深可以通过光圈大小、焦距和拍摄距离来控制。在AI图像生成中，景深是一个重要的提示词，可以用来模拟摄影效果，使生成的图像更具真实感和层次感。

例如：

浅景深：A portrait of a person with a shallow depth of field, the background is blurred.这将生成一个人像，背景模糊，突出人物的清晰度

深景深：A landscape with a deep depth of field, everything from the foreground to the background is in focus.这将生成一幅风景图，前景和背景都清晰可见。

部分参数的解析

合理的参数设置是生成高质量图像的关键。以下是一些重要参数的技术解析：

*重绘尺寸*：一般情况下，比例建议和原图一致。如果有改变尺寸的需要，可以选择“裁剪后缩放”、“缩放后填充空白”和“调整大小”。
重*绘*尺寸倍数：可以重绘后放大，可以参考其提示的尺寸改变具体结果值。
重绘幅度：

低重绘幅度（例如10%-30%）：生成的图像会保留大部分原始照片的细节，只是添加了一些绘画风格的纹理和颜色变化。

中等重绘幅度（例如40%-70%）：生成的图像会在保持原始照片的基本结构的同时，显著改变其细节和风格，使其更接近于一幅绘画。

高重绘幅度（例如80%-100%）：生成的图像会与原始照片有很大的不同，可能只保留基本轮廓，其余部分则完全被绘画风格覆盖。

第十三部分：随机数种子作用解析

13.1 关于随机数种子

定义

随机数种子（Random Seed）是生成随机数的起始值。随机数生成器使用该种子值开始计算，确保每次生成的随机数序列一致。换句话说，如果使用相同的随机种子，随机数生成器将产生相同的随机数序列，从而在相同输入和相同参数下生成相同的图像。

作用

再现性：使用相同的随机数种子，可以再现相同的图像生成结果。这对于调试和结果验证非常有用。
控制随机性：通过调整随机数种子，可以生成具有不同特征的图像。不同的种子会导致不同的随机数序列，从而生成不同的图像。

13.2 借助随机数种子固定画面特征

固定特征

在图像生成过程中，通过设置固定的随机数种子，可以确保生成的图像具有一致的特征。这在以下几种情况下尤为重要：

批量生成：在批量生成多个图像时，使用固定的随机数种子可以确保每次生成的图像具有相同的特征，从而保持一致性。
调试和优化：在调试和优化生成模型时，使用相同的随机数种子可以帮助定位问题，并验证调整是否有效。
项目协作：在团队协作中，共享相同的随机数种子可以确保不同成员生成相同的图像，从而便于讨论和改进。

操作步骤

选择随机数种子：在生成工具中选择一个随机数种子，可以是任意整数。
- 示例：设置随机数种子为 12345。
设置生成参数：设置其他生成参数，如提示词、采样方法、步数等。
- 示例：提示词为 A serene landscape with a lake and mountains.，采样方法为 DPM++ 2M。
生成图像：使用设置好的参数生成图像。
- 示例：生成一张湖泊和山脉的风景图。
验证一致性：多次生成图像，确保每次生成的图像一致。
- 示例：
  
  多次生成的图像应该都包含相同的湖泊和山脉，并具有一致的风格和细节。

13.3 使用随机数种子的实用技巧

保存和共享种子值：在生成满意的图像后，保存使用的随机种子值，以便日后再现相同的图像效果。
探索种子空间：尝试不同的随机数种子，探索可能生成的各种图像，发现更多有趣的效果。
固定种子进行测试：在进行参数调整和模型调试时，使用固定的随机数种子，确保其他变量不变，从而更精确地分析调整效果。

通过合理使用随机数种子，可以在图像生成过程中实现再现性和一致性，提高图像生成的可控性和稳定性。这对调试、优化和协作具有重要意义。

第十四部分图生图的拓展应用

在本部分中，我们将探索图像生成技术在不同应用领域的拓展和创新，包括“拟人化”物体、二次元人物的“三次元化”以及抽象派AI绘画法。

14.1 利用图生图实现物体“拟人化”

图生图技术可以通过生成带有拟人化特征的图像，使无生命的物体看起来更加生动和富有情感。这种技术可以应用于：

品牌营销：通过拟人化的吉祥物设计来增加品牌的亲和力。
教育领域：使用拟人化图像来制作更有趣的教学素材，吸引学生的注意力。
娱乐产业：在动画和游戏中，利用拟人化的物体角色增加创意和趣味性。
静物拟人化：可通过更改提示词实现以静物的风格拟人化。

14.2 二次元人物真人化

将二次元的动画角色转换为真人照片，可以在多个领域带来新的可能性：

游戏开发：利用三次元化的角色模型，提升游戏画面的真实感和互动体验。
影视制作：在电影和电视剧中，使用三次元化的动画角色进行特效制作。
虚拟现实：通过三次元化的角色，使VR体验更加沉浸和生动。

示例

*输入一张动漫人物照片*

选择一个真人化大模型

** **

根据图片实际内容输入内容提示词+标准化提示词+反向提示词

正向提示词：

SFW,(1man, solo:1.2),young,black hair,curve hair,short hair,[tousled hair],flowing hair,(covered eyes:1.2),basketball,black wristband,red jersey,(handsome guy:1.2),(8k, RAW photo 1.2),cinematic lighting,night,best quality,ultra high res,(photorealistic 1.5),indoor,(simple background:1.2),depth of field,bloom,shine,(perfect light),cinematic lightning,light and shadow,dappled sunlight,light particles,winds,

反向提示词：

NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(badproportions:1.331),extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extraarms and legs))),

设定与原图相同的重绘尺寸并勾选ADetailer面部修复

生成真人化照片

** **

14.3 AI手绘法

AI手绘法可以运用任意画图工具通过AI生成画作，为艺术创作提供了新的可能性：

示例

选择任意绘图工具，通过鼠标或者手绘一些你希望生成的大致内容。

将图片上传至WebUI中，选择你需要的模型风格。

根据你希望呈现的图片内容输入内容提示词+标准化提示词+反向提示词

正向提示词：

mountains,clouds,river,beach,Boat(8k, RAW photo 1.2),cinematic lighting,night,best quality,ultra high res,(photorealistic 1.5),indoor,(simple background:1.2),depth of field,bloom,shine,(perfect light),cinematic lightning,light and shadow,dappled sunlight,light particles,winds,

反向提示词：

NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(badproportions:1.331),extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extraarms and legs))),

设定与原图相同的图片尺寸及其他参数