[Stable Diffusion]全网最全图生图功能详解

在文生图 模式下虽然可以根据 prompt出效果很好的图,但也存在一些问题。利用图生图可对图片进行精准的调整,包括不限于换脸,换背景,修改画质,利用tile模型重新生成和放大图片等。

在这里插入图片描述

在文生图模式下虽然可以根据 prompt出效果很好的图,但也存在一些问题,比如我们想要微调一些细节,就只能通过修改
prompt
来实现,但是这样的效果并不好;文生图的出图结果太随机;没办法根据我们自己的图进行二次加工。我们通过深入学习图生图就可以很好的解决上述问题。本篇使用MJ生成摄影模特底图,再拿到SD的图生图进行二次修改。

MJ生成模特

绘图工具:Midjourney

提示词:

Beautiful Asian woman in dress surrounded by huge lotus leaves with
intricate patterns, standing in front of a huge full moon with soft light,
Albert Watson style, minimalism, elegant light green --ar 3:4 --s 750 --v
5.2 --style raw

中文:

美丽的亚洲女子身着连衣裙,周围环绕着巨大的荷叶,荷叶上有复杂的图案,站在一轮巨大的满月前,月光柔和,阿尔伯特-沃森风格,极简主义,优雅的浅绿色。

图生图简介

图生图和文生图的原理基本一样,文生图直接根据 prompt 描述来生成图片。而图生图则是在这个基础上添加图片的信息,图片+prompt
生成新的图。图生图主要的几个重点:重绘幅度、图生图下的TAG写法、缩放模式等。

在这里插入图片描述

1、图生图的2种打开方式

第一种是在文生图中将生成好的图直接发送到图生图中。第一种是在图生图界面中上传参考图。本文采用的是第二种方法。

在这里插入图片描述

2、提示词写法

图生图正向提示词不用写太多人物描述的TAG,只要写一些画质的基础描述语即可。

模型:[写实]墨幽人造人_v1020 (写实模型都可以)正向Prompt:masterpiece, best quality,1girl,(best quality), ((masterpiece)), (highres),beautiful face, extremely_beautiful_detailed_anime_face,反向 prompt:easynegative, paintings,
sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres,
normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin
blemishes, age spot, glans,extra fingers,fewer fingers,strange fingers,bad
hand,naked,uncovered,(worst quality, low quality:1.4), (bad anatomy),
watermark, signature, text, logo,contact, (extra limbs),(3d), Six
fingers,Low quality fingers,monochrome,(((missing arms))),(((missing
legs))), (((extra arms))),(((extra legs))),less fingers.seed 种子:-1步数:30

3、重绘幅度

Denoising strength(重绘幅度)
就是来控制与原图一致性的程度。如果只是简单修改背景、换脸之类的就0.3-0.5.画质整体改变很大的话就0.7上下(跟底图没什么相似性了)

在这里插入图片描述

4、图像尺寸

在这里插入图片描述

5、缩放模式

Just resize、 Crop and resize、 Resize and fill 这三种模式会根据新尺寸选择是填充、拉伸还是裁剪。

1.拉伸

当我们调整了分辨率后导致和原图不一致,拉伸模式就会直接把图片拉大(不推荐)。

2.裁剪

如果设置的分辨率要小于原分辨率,裁剪就会将多余的剪掉。

3.填充

如果设置的分辨率要高于原图的分辨率,AI会帮助我们进行填充,而填充的内容则会依赖于重绘幅度,重绘幅度越高,AI自主发挥的空间越大。

6、模型选择

选择主模型:根据图片的画质,选择对应的大模型。(写实、二次元,2.5D等),主模型影响出图的风格。要写实就真人模型,要二次元就选择二次元模型。

在这里插入图片描述

7、 X/Y/Z 脚本控制

所以我们打开 X/Y/Z 图表脚本,设置重绘幅度范围(0-1),让 SD 一次性生成10张图

在这里插入图片描述

生成的图片

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

重绘幅度越高,那么生成出来的原图就与原图差别越大。搭配不同的模型+不同程度的重绘幅度生成不同效果的图片。

图生图中修改背景

图生图中输入prompt,提示词部分是告诉AI修正图片的地方。

范例:下面的模特,我们想把背景换到校园里(在正向prompt 中加入 “背景是校园”)

在这里插入图片描述

正向 prompt:  


  * 1
  * 2



photography,(8k uhd,RAW photo:1.2),(realistic,photo-realistic:1.37),(best quality:1.2),(masterpiece:1.5),The background is a college campus,(best quality:1.2),(masterpiece:1.5),The background is a college campus

  * 1

生成的图片:
在这里插入图片描述

图生图到Extra放大

Extra主要是对图像进行优化放大的。可以上传图片导入,也可以通过其文生图和图生图中的send to extras直接使用;

在这里插入图片描述

放大算法 Upscaler :

图片选择4x-UltraSharp或R-ESRGAN 4x+

动漫选择:R-ESRGAN 4x+ Anime6B

缩放比率:选择2或4(根据自己所需)

PNG Info 提取TAG

读取图片TAG(只有SD生成的原图才可以读取)

在这里插入图片描述

在这里插入图片描述

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权,请联系删除
### 使用 Stable Diffusion 实现像融合 #### 像融合的概念 像融合是指将两个或多个源像的信息结合起来,形成一个新的合成像的过程。对于 AI 绘画工具如 Stable Diffusion 而言,这一过程可以通过特定的技术手段来完成。 #### 方法概述 为了在 Stable Diffusion 中实现高质量的人像写真背景像融合效果,通常采用的是基于蒙版的重绘技术。具体来说,就是通过上传一张原始片以及对应的蒙版遮罩来进行操作[^3]。 #### 步骤详解 当准备进入 SD (Stable Diffusion) 的界面时: - **上传素材** 用户需先准备好要处理的照片及其相应的二值化掩模(即黑白两色表示哪些区域保留原样而哪些部分允许修改),之后依次点击界面上方菜单中的“上传重绘蒙版”,并按照提示分别加载待编辑的真实照片和个人物轮廓所构成的选择性更新模板文件。 - **参数调整** 接下来是对一些必要的选项做出设定,比如迭代次数、风格倾向度量等超参;这些设置直接影响终输出作品的艺术性和逼真程度。值得注意的是,不同的应用场景可能需要微调不同类型的参数组合以达到佳视觉呈现结果。 - **执行成** 完成上述准备工作后即可启动算法运行按钮等待片刻直至新版本的画面渲染完毕。期间系统会依据给定条件自动计算优解路径从而创造出既保持原有特征又融入全新元素的理想型态。 ```python from diffusers import StableDiffusionInpaintPipeline, EulerAncestralDiscreteScheduler import torch from PIL import Image, ImageOps pipeline = StableDiffusionInpaintPipeline.from_pretrained( "runwayml/stable-diffusion-inpainting", scheduler=EulerAncestralDiscreteScheduler(beta_start=0.00085, beta_end=0.012), revision="fp16", torch_dtype=torch.float16, ).to("cuda") image = Image.open("./data/inpaint.png") mask_image = Image.open("./data/mask.png").convert('L') output = pipeline(prompt="A fantasy landscape with a castle on top of the mountain.", image=image, mask_image=mask_image) output.images[0].save('./result/output_fantasy_castle.jpg') ``` 这段 Python 代码展示了如何利用预训练好的 Stable Diffusion inpainting 模型进行带蒙版引导的内容替换任务。其中 `prompt` 参数定义了希望得到的目标场景描述语句,而输入的两张片则分别是底片和覆盖在其上的不透明度指示器——用来指定哪一部分应该被重新绘制。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值