stable diffusion学习笔记【2023-10-2】

已于 2023-10-02 17:37:47 修改
阅读量1.8k 收藏 3
点赞数
文章标签： stable diffusion 学习 笔记
于 2023-10-02 17:36:27 首次发布
iamzchi
本文链接：https://blog.csdn.net/weixin_44986776/article/details/133136158
版权
本文探讨了AI技术在艺术创作中的应用，如CFGScale的提示词相关性处理、Denoisingstrength的重绘幅度调整、大模型（如Lora和HuggingFace）的下载与使用，以及高清修复技术（如R-ESRGAN4x）的细节。还涉及了图生文、控制网络（controlNet）和局部重绘（inpaint）等工具的参数与功能。
摘要由CSDN通过智能技术生成

L1：界面

CFG Scale：提示词相关性
denoising：重绘幅度

L2：文生图

女性常用的负面词
nsfw,NSFW,(NSFW:2),legs apart, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (outdoor:1.6), manboobs, backlight,(ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.331), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (more than 2 nipples:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), bad hands, missing fingers, extra digit, (futa:1.1), bad body, NG_DeepNegative_V1_75T, pubic hair, glans, refraction, diffusion, diffraction, nude, open mouth, teeth，(worst quality, low quality:1.4), bad anatomy, low quality lowres, low quality lowres low polygon 3D game, low quality lowres monochrome sketch rough graffiti, low quality lowres very ugly fat obesity scar, low quality lowres chibi, low quality lowres poorly drawn bad anatomy, low quality lowres graffiti unbecoming colorfully, low quality lowres incoherent background, low quality lowres long body, low quality lowres duplicate comparison, low quality lowres sketch retro_artstyle doujinshi, low quality lowres sketch, low quality lowres text font ui error missing digit blurry, low quality lowres JPEG artifacts signature hazy bleary, low quality lowres monochrome parody meme, low quality lowres historical picture, low quality lowres disfigured mutated malformed twisted human body, low quality lowres futanari tranny, low quality lowres tentacle skeleton,watermark, signature, fewer digits, figure, nude, topless, fat,lace,rabbit,big boobs,big breast

提示词思路

请添加图片描述

权重

在这里插入图片描述
在这里插入图片描述

L3：图生图

  • Denoising strength 重绘幅度参数：与原图差别多大
  • 随机种子：筛子-1即随机生成；循环按钮将返回上一张图的种子，按照上一张图的样子再次生成。

L4：大模型

  • 下载大模型的网站：
  • 一些后缀的分类：
    • checkpoint 大模型
    • Lora：从模型网站上下载到的很多模型属于lora，要把他们放在model/Lora文件夹下，相当于一个附加修改器，需要以其他模型为基础
  • 大模型分类
    • trained：一手，原创的
    • merge：模型混合的，名字里一般都有mix

模型风格：
在这里插入图片描述
up推荐的：
在这里插入图片描述

L5：提高产图质量

高清修复

一种说法：hires.fix中的算法R-ESRGAN 4x+对真实图来说更有细节（但其实还是需要多尝试

SD放大

安装extension的方法
在img2img中的script找到对应脚本，注意需要设置重叠像素（tile）的宽高
在这里插入图片描述

附加功能放大

其实就是一个重绘幅度为0的放大，只会精细描线，并不会增加细节

L6：修改器

embedding词嵌入

  • 原理：相当于给一个指示，按照某个人物特点来进行生成，c站的模型筛选中可以找到
  • 使用方法：下载后放入embedding文件夹，在提示词中填入模型详情中的Trigger Words即可。注意看作者说的应该填入哪种提示词
  • 应用：
  1. 画某个角色的同人二创（其实更多用lora
  2. 经典应用：转身图（具体使用的时候应参考wiki
    在这里插入图片描述
  3. 画手。记录了一些手的错误案例，下次ai绘图会避开这些错误案例。

图生文

主要是img2img中的图像反推 (Interrogate) 提示词算法 (BLIP 和 DeepBooru)
生成比较慢

效果差异
比如某张照片：

BLIP

a man with no shirt and no shirt on is standing in front of a wall with his shirt off, Benjamin Marra(一个美漫艺术家), cel shading(一种三渲二的方法), a comic book panel(一个漫画面板), cobra(未找到来源)

DeepBooru（速度更快）

1boy, abs, bara(一种同性艺术风格), beach, dark-skinned male, goggles(护目镜), male focus, male swimwear, muscular, muscular male, navel（肚脐）, nipples（r头）, pectorals（胸脯）, shorts, solo, sunglasses, toned（强壮）, topless male

LORA

添加了针对LADY GAGA的角色特点，二创更多用lora
注意看有的lora的详情里面也写了推荐的trigger words

超网络hypernetwork

一般用于改变画风（有时可被lora取代
使用方法：
下载后放在\models\hypernetworks
在超网络标签中，刷新，选中即可

L7：局部重绘inpaint

参数解释：

  • 蒙版：就是涂黑的那一部分

  • 蒙版模糊度：类似ps的羽化

  • mask mode：正选反选

  • masked content：
    Fill: 基于模糊选区
    Original: 基于原图（大多数情况会选这个
    Latent Noise: 随机图像，如果想要随机生成这个选区就勾选这个选项
    Latent Nothing: 基于纯色块选区，色块是选区附近像素的平均色
    在这里插入图片描述

  • Inpaint area
    全图/Whole picture：绘制全图再拼接回去你提供的图
    仅蒙版/Only masked：只重绘选区内容，容易出错

  • inpaint和inpaint sketch似乎没有区别…

L8：扩展

介绍和安装了一些好用的扩展

  • 中文
  • tag提示
  • 中文tag
  • image browser
  • Tagger：一种更好用的图生文
  • adetailer：修复人脸/手
  • infinite zoom：生成无线循环的视频

L9：Lora

在这里插入图片描述

L10：controlNet

  • 可以用于控制人物姿势
  • 需要将controlNet的扩展装在扩展文件夹下面
  • 模型放在controlNet下的models中

参数：

  • 控制权重/Control Weight：决定这个控制效应在图片中呈现出来的程度
  • 启动控制的步数/Starting Control Step和结束控制的步数/Ending Control Step：controlnet什么时候生效，0-1代表全程生效
  • 完美匹配像素/Pixel Perfect：无脑勾选
  • 爆炸按钮：只生成动作的 骨骼图

常用的controlnet的一些细节：

  • pose：预处理中的openpose_full可以精确定位包括表情、手指、躯干所有内容，其他都是部分内容
  • Depth：用于画场景、透视。生成一个空间深度图。【有时候openpose无法生成的动作，可可以试试depth】
    在这里插入图片描述
    在这里插入图片描述
  • canny：边缘检测，注重对细节的重现。
    • 据说可以用于线稿上色
    • 效果：（很想试试2333在这里插入图片描述 - 要求精准重现某种事物（比如文字、汽车等等- sofe eage:同样边缘检测，但是只保留大概轮廓，canny更注重细节。在这里插入图片描述
Stupid小池
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Stable Diffusion - 图像反推 (Interrogate) 提示词算法 (BLIP 和 DeepBooru)
Mystra
07-19 1万+
图像反推 (Interrogate) 功能，是指根据给定的图像生成一个或多个文本提示，这些提示可以描述图像的内容、风格、细节等方面。这个功能可以帮助用户快速找到合适的文本提示，从而生成自己想要的图像变体。图像反推功能，使用了 CLIP (BLIP) 和 DeepBooru 两种提示词反推算法，分别使用 视觉和语言的联合表示 和 基于标签的图像检索。
[linux-sd-webui]图生文，blip/deepdanbooru
liguandong
05-11 2863
同步发布在我的博客 https://blog.thisis.plus/2023/04/22/clip_interrogator%E6%95%99%E7%A8%8B/文字生成图片是近年来多模态和大模型研究的热门方向，openai提出的CLIP提供了一个方法建立起了图片和文字的联系，…blip是个多模态的视觉-语言模型，在webui中使用了blipv1，目前blip已经有v2版本了，deepbooru适合二次元的场景，除此之外的场景建议使用blip，blip有两个版本，，还有一个原作者团队整合的。
Stable diffsuion基础篇（3）
最新发布
m0_56937682的博客
07-05 2064
1. 初始图像输入：完整的图像、部分完成的图像、低分辨率图像、噪声图像2. 噪声引入：模型在初始图像上逐步引入噪声。这个过程是一个向前的扩散过程，类似于将图像逐渐变得模糊和混乱。每一步都会增加一定量的随机噪声，使图像变得越来越接近于纯噪声。3. 反向扩散过程：在反向扩散过程中，模型从完全噪声化的图像开始，逐步去除噪声，恢复图像的细节。这一步由扩散模型完成，通过一系列去噪步骤，生成新的像素值，使图像变得清晰和详细。
图生图—AI图片生成Stable Diffusion参数及使用方式详细介绍
叶子的博客
05-16 1万+
本文为专栏《Python从零开始进行AIGC大模型训练与推理》系列文章，地址为“https://blog.csdn.net/suiyingy/article/details/130169592”。
Stable Diffusion - Prompts 提示词工程框架
Mystra
07-04 4515
当前 Stable Diffusion 模型使用基础的，即。Stable Diffusion 的正向提示词是一种用来描述想要生成的图像的语言，可以通过不同的词语、符号、权重和相关性来控制生成图像的内容、风格和质量。正向提示词可以根据不同的场景和需求进行灵活的选择和组合，以达到理想的效果。
云服务器部署stable diffusion webui
A4paper的博客
11-12 4827
一些过程+亿些踩坑记录，不是教程
Stable Diffusion学习指南【模型篇】
探索AIGC领域的体验设计师
09-12 1682
今天我将带你深入学习Stable Diffusion模型的类型、差异以及使用技巧，同时也能帮助你建立对开源模型的基础认知框架，全篇没有干货都是感情，快来看看吧～
Stable Diffusion学习指南【安装篇】
探索AIGC领域的体验设计师
09-10 2804
本篇教程不只是简单的操作引导，我也会和你介绍各类工具的作用和常见问题的解决思路 ， Win和Mac系统的安装方法都有单独介绍哦～
【Stable Diffusion】在windows环境下部署并使用Stable Diffusion Web UI---通过 Conda
AnChenliang_1002的博客
12-12 1755
Stable Diffusion是当下最强大的AI绘画工具；可本地部署，可切换多种模型，且新的模型和开源库每天都在更新发布，最重要的是免费，没有绘图次数限制；其是一种基于深度学习的文本到图像生成模型，于2022年发布。它能够根据文本描述生成详细的图像，同时也可以应用于其他任务，例如图生图，生成简短视频等。是一个基于Web的用户界面，用于使用Stable Diffusion进行图像生成和其他任务。该Web UI由AUTOMATIC1111开发，并开源上传至Github，也是目前使用最多的WebUI版本。
【Stable Diffusion】在windows环境下部署并使用Stable Diffusion----通过星空整合包一键安装
AnChenliang_1002的博客
12-20 2091
用整合包安装Stable Diffusion有一些利弊。好处是，安装非常简单，只需要一键启动就行，而且会自动更新。整合包里自带了一些模型和必要的插件，不需要安装Python等其他软件。不过，也存在一些问题。安装过程中可能会遇到各种问题，而且整合包里的插件可能包含一些用户用不上的东西。目前市面上主要有两款推荐的整合包，分别是秋葉aaaki和独立研究员-星空的。这两个整合包的内核一样，使用上差别不大，主要区别在启动界面和集成的插件。如果是新手，建议用秋叶老师的整合包；而对于使用。
AIGC stable diffusion学习笔记
jacke121的专栏
12-14 705
clip需要token，token到类别的概念，达不到细分类别的程度，比如可以到车标，但是具体车型的车标，可能区分不了。clip是文本转embinding，其中用到了unet和clip。
szurutagger:一个使用deepdanbooru标记szurubooru帖子的机器人
03-15
祖鲁塔格 一个使用deepdanbooru标记szurubooru帖子的机器人 用法 需要安装Deepdanbooru。 将机器人的用户名，密码和url放入config.json { " user " : " szurutagger " , " password " : " password " , " url " : " https://example.com " } 然后运行python szurutagger.py
【Stable Diffusion论文精读】High-Resolution Image Synthesis with Latent Diffusion Models（主打详细和易懂）
zik的博客
05-07 2053
Stable Diffusion图像编码器和解码器基于VQGAN，然后用的扩散模型是，条件编码器用的是CLIP或者a domain specific encoder（如BERT），通过cross-attention融入到UNet中。采样过程用了DDIM加速和条件采样（UNet架构也是用的这个一样的）。其中VQGAN和CLIP是直接加载预训练模型，训练时只需要训练扩散模型。方法鸟瞰;
AI绘画 | stable-diffusion-web-ui的基本操作
洛阳泰山的博客
11-02 1219
以上就是本篇文章的全部内容，大家可以尝试的设置这些参数生成一些图片了。当然你生成的图片的效果大概率不会很理想。以上所有参数中难度设置最大作用也最大的就是promts提示词了。如何才能写出更准确，更能让Ai理解的提示呢？下篇文章我会讲promts提示词的基本语法和进阶语法的使用，相信你Ai绘画的水平会得到进一步的提升。
【stable diffusion】保姆级入门课程02-Stable diffusion（SD）图生图-基础图生图用法
Minstrel的博客
07-19 8790
2600字全文解说stable diffusion图生图详细参数，附带视频教程
Stable Diffusion WebUI 图生图 DeepBooru反推提示词 结果翻车了
hknaruto的专栏
07-07 2419
图生图界面，上传图片，点击“DeepBooru反推提示词”参考上文，下载模型，添加上LoRA模型参数，名称参考如下。图形界面没有反应，终端日志。github网络不通导致。
【stable diffusion】图片批量自动打标签、标签批量修改（BLIP、wd14）用于训练SD或者LORA模型
热门推荐
进一寸有一寸的欢喜
06-12 2万+
对自己图片，自动化进行文字描述，用于训练stable-diffusion的自己的模型的大模型、训练LORA模型的数据准备
AI 绘画 | Stable Diffusion 动漫人物真人化
洛阳泰山的博客
12-07 790
如何让一张动漫人物变成真实系列人物？Stable Diffusion WebUI五步即可实现。快来使用AI绘画打开异世界的大门吧！！！
stable-diffusion-webui-master怎么启动
09-17
要启动stable-diffusion-webui-master，您需要按照以下步骤进行操作： 1. 首先，确保您的计算机上安装了Node.js和npm。您可以通过在终端中运行以下命令来检查它们是否已安装： ``` node -v npm -v ``` 如果看到版本号，则说明它们已安装。 2. 在GitHub上找到stable-diffusion-webui-master的存储库，并将其克隆到您的计算机上。您可以通过运行以下命令来完成克隆： ``` git clone https://github.com/<用户名>/stable-diffusion-webui-master.git ``` 其中`<用户名>`是您的GitHub用户名。 3. 进入克隆的存储库目录： ``` cd stable-diffusion-webui-master ``` 4. 安装项目的依赖项。使用以下命令来运行npm安装： ``` npm install ``` 5. 安装完成后，您可以启动stable-diffusion-webui-master。使用以下命令来启动项目： ``` npm start ``` 6. 这将启动一个本地开发服务器，并在默认端口上启动应用程序。您可以在浏览器中访问`http://localhost:3000`来查看应用程序的运行情况。 现在，stable-diffusion-webui-master应该已经成功启动并在您的本地计算机上运行。您可以根据需要进行自定义配置和修改。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值