Stable Diffusion 使用详解（6）---人物风格及背景变换

目录

背景

ControlNet

lineart

IP-Adapter

实例

生成场景模特

操作

生成效果

生成背景

操作

生成效果

融合

ip-adaptor contrlNet

lineart controlNet

生成效果

---

背景

很多场景下，需要完成人物风格变换，比如现在是写真集，想转换为动漫集。但我们需要人物原始特征保持不变，再者加上一些新的动漫背景，生成三次元图像，或生成3D画风图像，我们看看怎么处理。

ControlNet

lineart

要做到精确控制，还得需要controlNet 的加持。线稿类 controlNet 特别适合提取人物特征，在完整捕获人物特征基础上，配合与之应景的底模，加上适合场景的提示词，进行重绘，人物形象非常适合迁移。

lienart 的类型主要有两种：1）适合提取动漫特征，提取后可以将动漫风格转换为真实系列 2）标准提取，就是提取真实系的特征，将其转换为动漫系列。

IP-Adapter

这个ip-adaptor 就是绘制整体画面的背景风格，就像PS 图层叠加那种，如果你在上面已经有了蒙版或者配合了其他的controlNet，效果是可以叠加的。

一个是场景相关，一个是脸相关的 特征捕获获取。

实例

生成场景模特

操作

我手边也没有太多模特效果图，用 stable diffusion 先生成几个吧，基本操作思路，前面讲过了，还不会魔法的，看前面专栏，这里不再熬述。

正向提示词：

(RAW photo, 4k, realistic, exquisitely detailed skin),masterpiece,best quality,unity 8k wallpaper,ultra detailed,cinematic look,natural skin texture,extremely realistic skin texture,finely detailed face,(film grain:1.2),cinematic angle,Fujifilm XT3,(highlydetailed),(night scene),(street corner),(1girl),(detailed lighting),(contrast),(mysterious atmosphere),vivid illumination,masterful technique,harmonious composition,immersive atmosphere,stunning visuals,

反向提示词：

ng_deepnegative_v1_75t,badhandv4,(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,normal quality,((monochrome)),((grayscale)),bad_pictures,

生成效果

生成背景

操作

希望有一个星空的背景，直接生成一个吧

正向提示词

HTTP,sky,scenery,1girl,starry sky,night,reflection,night sky,outdoors,water,

反向提示词

verybadimagenegative_v1.3,

生成效果

融合

我们将人物与背景进行融合。为了固定人物，采用lineart  controlNet。为了模仿背景，我们选择ip-adaptor风格。

模型和正反向提示词都不变

ip-adaptor contrlNet

注意这里权重一般选择0.8，否则就太死板了，没必要

lineart controlNet

生成效果