Stable-Diffusion实用技巧(风格迁移)

SD的大模型带来了丰富的艺术效果,不同的模型之间的艺术效果区别很大。所以现阶段利用SD的一大作用就是风格迁移,将相同的内容赋予不同的艺术效果,以此带来更多的创造灵感。本篇章将介绍几种风格迁移的方法。


一、图生图+ControlNet

1.1操作步骤概述

img

步骤1-2

img

步骤3-5

img

步骤6-7

img

步骤8

1.2相关参数研究

该方法迅速快捷,能保持画面基本一致的情况下,快速实现风格的转变,用此方法进行风格迁移的重点在于:

①大模型的选择

大模型的选择直接决定了我们所迁移的风格。

重绘幅度

一般来说重绘在0.4-0.6之间,能较好保留源图画面结构的情况下,将画风融入画面之中。如果是二次元转换三次元,那重绘幅度就需要适量提高。以下是利用新海诚电影《你的名字。》中的宫水三叶作为源图,进行的一些风格转换研究。

img

源图

img

TMND-Mix_v5

img

anything_v5

img

Drak Sushi

img

ghostmix

用此方法不仅可以实现风格迁移,还能实现二次元转三次元的真人风格,**但需要注意的是,由于动画作画风格,使得动画中的人物比例往往与真实世界中不同,所以在实现二次元的三次元转换时,需特别重视源图的人物比例是否符合现实世界的经验,避免出去过于诡异的画面。**本次想利用此图生成三次元真实风格人物,但实践后发现,人物比例与真实世界相差较大,显得画面较为诡异。

二、文生图+ip_adapter+ControlNet

通过第一种方式得到的风格迁移,相当于是照着源图用不同的风格重新画了一篇,但画面差异不会很大,就比如主人公的衣服,领结等特征还是大部分保留。如果我们想改变结果能更猛一点,可以考虑使用IP-Adapter。

IP-Adapter是由腾讯AI实验室开发的图片生成项目。通过笔者的实验,我认为它更接近风格的相融,把参考图的风格融入源图中。

img

案例示意

2.1操作步骤概述

img

步骤1-3

img

步骤4-7

img

步骤8-11

2.2相关参数研究

用此方法生成风格改变的图

步骤一:大模型的风格尽量与参考图保持一致,这样能最大限度地实现风格相容;

步骤二:同理提示词也应尽量与参考图相关;

步骤七:预处理器的模型与控制权重可根据需要的效果调整。

以下是一些用第二种方法生成的图纸,通过比较我们也可以直观地发现与第一种方式的区别。

img

img

img

img

img

img

此方法形成风格相融的图片能最大限度保留参考图的色彩构成与艺术风格。同时它对参考图的包容性也很高,不管是什么样式的图纸都能较好地嵌入到生成的图当中。这就有点像一张图的Lora能对所有的源图做类似的风格相融。

因此还能用此方式生成一系列风格相融的新图,形成系列的更新。

img

图片对比合集

现在AI绘画还是发展初期,大家都在摸索前进。

但新事物就意味着新机会,我们普通人要做的就是抢先进场,先学会技能,这样当真正的机会来了,你才能抓得住。

如果你对AI绘画感兴趣,我可以分享我在学习过程中收集的各种教程和资料。

学完后,可以毫无问题地应对市场上绝大部分的需求。

这份AI绘画资料包整理了Stable Diffusion入门学习思维导图Stable Diffusion安装包120000+提示词库,800+骨骼姿势图,Stable Diffusion学习书籍手册AI绘画视频教程AIGC实战等等。

完整版资料我已经打包好,点击下方卡片即可免费领取!

【Stable Diffusion学习路线思维导图】

img

【Stable Diffusion安装包(含常用插件、模型)】

img

【AI绘画12000+提示词库】

img

【AI绘画800+骨骼姿势图】

img

【AI绘画视频合集】

img

这份完整版的stable diffusion资料我已经打包好,点击下方卡片即可免费领取!

在这里插入图片描述

### 使用 Stable-Diffusion-WebUI 进行图像生成 为了利用 `stable-diffusion-webUI` 工具进行高效的图像生成,需先安装该工具。通常情况下,可以从 GitHub 下载最新版本的源码[^2]。 #### 安装依赖库 确保本地环境已配置好 Python 和 Git 后,在命令行输入以下指令来克隆仓库并进入项目目录: ```bash git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git cd stable-diffusion-webui ``` 接着按照官方文档说明完成必要的依赖项安装过程。 #### 图像生成功能介绍 启动 Web UI 应用程序之后,可以通过浏览器访问界面来进行交互式的操作。主要功能模块包括但不限于以下几个方面: - **Prompt 输入框**:用于定义想要创建的内容描述语句。这里支持复杂的自然语言表达形式以及特定标记语法,比如权重调整、条件分支等特性[^3]。 - **采样方法选择器**:提供了多种不同的随机漫步算法供用户挑选,默认采用的是 k_euler_a 方案;其他选项还包括 ddim、plms 等不同类型的扩散模型变体。 - **参数调节滑杆组**:允许自定义诸如步数(Steps)、宽度/高度尺寸(Width / Height)、CFG Scale 参数等一系列影响最终效果的关键属性值。 当一切准备就绪后点击“Generate”按钮即可开始渲染流程,并实时查看进度直至获得满意的结果为止。 对于希望进一步定制化体验或是探索更多可能性的技术爱好者来说,则可能涉及到更深层次的功能——即通过微调现有预训练好的权重文件实现个性化风格迁移任务。 #### 模型训练指南概览 如果目标是从零构建全新的艺术作品集而不是简单地基于已有素材做修改的话,那么就需要考虑如何有效地收集标注数据集并对网络架构实施针对性优化了。这一步骤相对复杂得多,涉及到了解深度学习框架的基础知识和技术细节。 不过借助于社区贡献者们分享出来的教程资源和开源脚本包的帮助之下,即使是初学者也能够在较短时间内掌握基本要领。例如,可以参考官方Wiki页面上的指导手册逐步建立起适合自己的工作流管线。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值