SD入门教程四：图生图基础用法

程序员小猴紫

已于 2024-12-29 10:45:23 修改

阅读量2.4k

点赞数 33

分类专栏： StableDiffusion教程 AI绘画文章标签：人工智能 AI作画 stable diffusion AI绘画 AICG

于 2024-08-14 09:30:00 首次发布

本文链接：https://blog.csdn.net/m0_74942241/article/details/141126181

版权

AI绘画同时被 2 个专栏收录

430 篇文章

订阅专栏

StableDiffusion教程

401 篇文章

订阅专栏

在上一篇中，我们学会了文生图的基础用法以及参数设置，这一篇我们继续讲解图生图。图生图就是给出一张参考图，由AI在参考图上做修改。简单来说，就是用原图和提示词进行图片二创。图生图的出现是为了弥补文生图的不足，因为文生图有个无法避免的问题，就是随机性太大，当你抽卡抽到一张你喜欢的图片，但是可能某些地方不满足需求，对于文生图而言，是很难进行修正以及修改的。

举例：

左侧是原图，右侧是修改了提示词和风格模型之后的图生图，可以看出原图与图生图之间有了区别，人物的五官，发色，风格，背景，着装都发生了变化，这就是图生图最基础的用法。

！如何使用！

图生图并不是单纯的直接由图片生成图片，原始图片只是做主体参考图，打个比喻，你要做一道经典的意大利肉酱面，这是“原图”，现在，你想尝试一种新的风味，比如将传统的肉酱换成海鲜酱。你通过“提示词”或换“图像模型”告诉AI，海鲜酱里面应该有哪些食材与配料，比如可能会添加一些虾、贻贝或者鱼肉等元素，才能将原先的肉酱替换成海鲜酱。同理，图生图也是由参考图与提示词以及图像模型共同组合完成的，通过提示词去控制原本的图片进行二次创作，从而减少图片生成的随机性，更好地满足我们的需求。

功能区域

主要功能区域分三块，有一部分和文生图是一样的，上一期学过就可以复用了。

1. 提示词区域：

这块区域的用法和文生图的用法是一样的，但是为什么我要特意拿出来讲解，因为这块和文生图的使用效果会有一点不一样，这块的提示词会作用于结果图，而不是对于原图的描述，这里新同学是很容易混淆的，大多数教程正向提示词都是和原图是有关系的，会让人误解为是对于原图的解释，图生图中无论是正向还是反向提示词都是对于结果图的引导和规范。

2. 提示词推理区域

这里我修改过WebUI的主题，所以是这两个图标，其实功能和SDWEBUI是一样的。当我们想利用原图进行操作，但是想保留某些特征，让原图和生成图保持相似度时，我们就需要进行提示词编写，此时反推区域就能帮助我们提取原图的特征提示词，例如：

CLIP反推

生成的提示词更像是一句话或者短语，一般是短语形式。

DeepBorru反推

DeepBooru 反推注重对于图片进行标签化，生成的大多数是单词，对于二次元图片的反推尤其擅长。

3. 图生图主功能区域：

3.1 图生图

默认进入的图生图区域可以选择点击上传或者拖动到上传区域，但是注意的是，图片名称不要携带中文字符或者空格之类的，当名称携带中文字符时，使用CLIP反推时会报错。使用其他图生图功能时也有可能会出现类似问题，这里再次强调一下，文件和文件夹不要使用中文字符，甚至纯数字命名，最好是使用英文命名，以避免各种奇怪的问题。（目前最新版已经修复了这个问题，使用旧版的同学要注意这点）

💡Tips：图生图的作用就是在原图上通过修改提示词或者更换模型来改变原图。

3.2 涂鸦

这里的操作是这样的，先要上传一张白色背景（单色也可以）的底图，上传完之后在底图上用画笔涂抹你想要图片的大概轮廓，就像左图，最关键的是要有相对应的提示词，这里我填写了（a tree,beachside,there is a sun,）再选择一个合适的图像模型就能生成出图片了。最近流行的LCM模型可以实现实时涂鸦出图。

💡Tips：这里着重说一下，涂抹画笔的颜色可以控制生成图片的色彩。用上图举例，绿色的画笔生成的绿色的树叶，金色的画笔，生成金色的太阳。

3.3 局部重绘
在这里插入图片描述

这是图生图区域的第三大功能，也是非常重要的一个功能，用画笔涂抹进行图像局部区域的重绘生成图片，这里一般可以实现换脸，去除物品细节，换服装等等。原理就是在原图贴上蒙版，用提示词告诉AI，这里我要换成什么。

在这里插入图片描述

左边的重绘区域同样需要画笔涂抹，再加上简单的提示词，一定要选择正确的图像模型才会出效果。

参数设置：

**蒙版边缘模糊度：**类似于PS里的羽化效果，数值越大，蒙版周边变化越大，生成的图和原图会有较大差别；
**蒙版模式：**就是字面意思；
蒙版区域内容处理：

- 填充效果按照画笔涂抹区域，重新生成内容填充到这个区域，如果提示词描述与原图内容不符，很大程度会瞎生成任何东西；

- 原版效果按照画笔涂抹区域，重新生成与原图区域内容相符的新图，同样和提示词还有模型有关；

- 潜空间噪声效果按照画笔涂抹区域，重新生成的内容与原图相差较大，提示词如果写的再精细也会有很大差别；

- 空白潜空间效果按照画笔涂抹区域，跟原版效果类似，在提示词同样的情况下，它只会考虑这个涂抹区域，且更多的识别涂抹区域周边环境的内容。

总结：这里推荐原版或填充，如果没有特殊需求就不要选择其他两个参数。
重绘区域：

- **整张图片：**画笔涂抹区域和未涂抹区域重新生成新图，未涂抹区域会有变化；

- **仅蒙版区域：**画笔涂抹区域生成新图，未涂抹区域没有变化。
**仅蒙版区域下边缘预留像素：**确保处理效果的平滑性和避免产生硬边或不自然的过渡，而在蒙版区域的下边缘额外保留了一些像素，建议默认值。

3.4 涂鸦重绘

与局部重绘类似，只是涂抹画笔带有色彩了。

比如你用绿色的画笔在手上这个区域涂抹，提示词写手表，涂抹区域就会根据画笔色彩生成一只绿色的手表。

3.5上传重绘蒙版

提前制作的蒙版图片，功能与局部重绘类似。

参数区域

除了功能区域，参数区域对于图生图也是比较重要的，那么我们来讲解下吧。

1. 缩放模式

这里的缩放模式是调整图片尺寸大小，常用“剪裁后缩放”，与界面上的3号区域搭配使用的，先调整3号区域内的宽度和高度，再调整4号区域的重绘幅度，2号区域的迭代步数和采样方法默认即可。然后点击生成就可以产出新图了。当然了，你要改变原图的风格或者图内元素就需要切换模型和输入提示词了。那么我们看看这四种模式到底有什么不同。


仅调整大小：左图（原图）512768，我们在主界面3号区域把它调整成右图512952，再把重绘幅度设置为0的条件下，很明显AI强行把图拉伸了；


裁剪后缩放：同样的，我们把512768调整成512952，我们看右图把多余的像素裁剪了，但是生成的新图就很合理。


缩放后填充空白：在重绘幅度为0的情况下，右图可以看到红色框内是多出的像素，有着明显拉伸的痕迹，那么我们可以看出AI把边缘像素作为参考拉伸。


调整大小（潜空间放大）：同样，在重绘幅度为0的情况下，有着明显的拉伸痕迹，还产生了类似高斯模糊的效果。

2*.* 采样方法迭代步数

这里的功能与文生图是一模一样的，可以参考上一篇教学。

SD入门教程三：采样器及参数调整

3. 重绘尺寸

这里的尺寸需要与缩放模式结合使用。

4. 重绘幅度

**这里很关键，要生成出理想的图就需要很好地控制数值，数值为0-1，**数值越小变化越小，也就是越靠近原图，数值越大变化越大，也就是和原图什么很大关系了。那么看下图的数值变化产生的图的效果：

在图像模型、提示词和参数值不变的情况下，只调整重绘幅度，可以很明显地看出来，原图和重绘幅度为1的图完全是两张图了。

那么我们怎么用好这些参数呢

调整重绘幅度数值，一般调整到0.35-0.5之间，那么生成的图和原图是最接近的。

！总结！

在本篇中，我们把图生图的基础功能都讲解了一遍，通过参考图像和提示词来引导AI进行图像的二次创作。这种方法弥补了文生图随机性大的不足，使得图像修改更加精确。通过涂鸦、局部重绘等功能，在保留原图特征的同时，实现对人物五官、发色、风格、背景和着装等元素的修改。参数设置，如缩放模式、采样方法、迭代步数、重绘尺寸和幅度，对生成图像的效果有重要影响。合适的参数调整可以帮助您获得与原图相似度适中的新图像。有需要探讨或者对AI绘图有兴趣的小伙伴可以加入我们。下一篇我们继续讲SD的其他用法。