stable diffusion 远端跑图—— Api进阶知识掌握（一）第三方插件的api调用方式

最新推荐文章于 2024-05-26 20:12:09 发布

cheng1999_cn1

最新推荐文章于 2024-05-26 20:12:09 发布

阅读量2k

点赞数 6

分类专栏： SD 文章标签： stable diffusion

原文链接：https://zhuanlan.zhihu.com/p/666172645

版权

SD 专栏收录该内容

4 篇文章 2 订阅

订阅专栏

本文介绍了StableDiffusion中第三方插件API调用的入门方法，包括使用debug工具解决问题，查看插件文档，以及通过源代码理解插件与SDWebUI的交互。作者通过controlnet、faceeditor和roop示例详细讲解了参数传递和调用过程。后续还将涉及插件扩展和更深入的技术分析。

摘要由CSDN通过智能技术生成

上一篇关于stable diffusion（以下简称sd）的api基础知识已经更新很久了，现在AI相关的技术也发生了非常多的变化

比较大的例如sdxl的更新，以及gpt4 turbo的出现，这个进步是越来越快了啊，居安思危

因为在忙着实际项目的开发，也蛮久没有看知乎更新了，最近看到有人在评论区问一些sd 第三方插件的api调用方法

第三方插件是sd远端调用的重要部分，我相信不会有太多人只通过调用sd本体，就能出来非常优秀并且稳定的图片，但是由于第三方开发者都各不相同，每个开发者的代码习惯还有规范都不一致，导致各家的api调用方法都有所不同，甚至有的在初版并没有提供api调用

所以这各系列主要：以部分插件为例讲解我们如何查看sd插件的api调用方式（一），通过debug解决遇到的问题（二），甚至在最后，可以做到添加自己想要的api功能模块（三）

关于此篇文章的前提知识，可参考下面文章

CreepOnSky：stable diffusion 远端跑图—— Api基础知识掌握135 赞同 · 115 评论文章编辑

该篇文章涉及软件：postman、vscode（其他可使用python并可debug'的IDE皆可）、以及一个已经安装好的sd工程

该篇文章还是偏技术小白一点的，本人技术也很有限，不会太深入，只需要一些python基础知识即可
最后一个插话，我正在创建一个ai交流讨论群，之前很多对ai感兴趣的人找我我当时都没有创建一个群，最近才开始，感兴趣的话请私聊我，无论是做技术还是其他，对ai感兴趣就行~
另外，本篇会涉及不少的sd webui以及插件源代码，图文都会比较多，我会尽量减少深入，只注重当前问题

正式开始

目前熟知的第三方插件非常多，我们就以我这边常用的几个为例，分别是：

controlnet、faceeditor、roop

先说必要前提，sdwebui工程将所有第三方插件能够提供的api参数都放在了body中的alwayson_scripts

alwayson_scripts中的每一个插件的调用怎么写，提供哪些参数，基本由第三方自己决定，所以这也是这篇文章的存在前提

0.安装各个插件

对应的github链接我已放入，第一步当然是安装各个插件，比较简单，打开你的sd webui

将对应的插件网址放入扩展 -> 从网址安装 -> 扩展的 git 仓库链接中然后点击安装即可

注意，此步需要能够正常访问github，如果不能正常访问，参考其他的github国内代理教程

1.检查插件否有文档

当我们需要知道一个功能是否提供以及如何使用，最有效并且系统的就是查看官方文档，虽然很繁琐，但是是最细节并且最全的公开资料

这次节选的三个插件，我们分别在github仓库中查看readme文件

controlnet

文档最后提到了一点，然后给出了一些例子，我们跟着这里的链接，查看例子

在这个路径下：/sd-webui-controlnet/example/txt2img_example/api_txt2img.py

于是我们vscode打开sd项目工程，sd是个比较大的项目，有很多分支文件夹，我们这次注重于两个文件夹

extensions 是第三方插件的文件夹，我们所有安装的第三方插件都在这里

modules 是sd-webui的代码主要文件夹，有很多api相关的代码都在这里面的（modules/api中）可以找到

然后找到extionsion路径下的/sd-webui-controlnet/example/txt2img_example/api_txt2img.py

查看代码，我们就可以直接得到controlnet的文生图（txt2img）基本调用规则！

face editor

同样查看文档，在这里得到答案!

顺便提一句，几个月前我第一次用faceeditor的时候他并没有在文档中写这些提示，我就只能直接通过代码去找调用方法，会麻烦很多，接下来我们也会提到用代码如何去找

roop

roop的文档就不太一样了，并没有相关的例子和链接，只有一个第三方api平台的相关赞助者，不必理会

所以roop这种情况就需要我们延伸到第二个步骤来查找如何调用api了

2.查看源代码

在查看插件的源代码之前，我们需要对sd-webui提供的api相关支持的源代码看一遍

这里涉及背后执行的前后方法非常多，我尽量不展开，只关注重点

打开sd项目的modules\api\api.py 路径，这是我们api调用的主要代码，关于sd本身的api调用上一篇已经阐述，这里不再重复

我们将目光集中在其中的init_script_args函数，红框部分，sd给第三方插件执行的代码就在这

从这几行代码我们可以看出我们先要有alwayson_script_name，这个是第三方开发者自己定义的名字，会在sd初始化中的插件初始化周期中进行写入

我们用controlnet的alwayson_script_name举例子

这是controlenet代码中声明的alwayson_script_name，也就是title，可以发现这个名字就是我们api调用的名字是一样的，回到第一步中的controlenet文档提供的example

至于为什么大小写不对应，api.py中找到叫做script_name_to_index会说明，这里不深入

回到init_script_args中继续往下看，当找到对应的alwayson_script_name之后，会将对应的输入参数都取出来

 if "args" in request.alwayson_scripts[alwayson_script_name]:
                    # min between arg length in scriptrunner and arg length in the request
                    for idx in range(0, min((alwayson_script.args_to - alwayson_script.args_from), len(request.alwayson_scripts[alwayson_script_name]["args"]))):
                        script_args[alwayson_script.args_from + idx] = request.alwayson_scripts[alwayson_script_name]["args"][idx]

注意这里的取参数是按照index，也就是排序去一一取出，其实就导致很多插件前期的做法，也是跟着这是直接写的是数组，而不是key value对应的形式，我用roop举例子

roop

这里是roop的调用方式，他是直接使用数组来调用，我们如果不看代码，根本不知道每一位对应的是什么

face editor

这是face editor的调用方式，是不是优雅很多？

相当于sd规定的格式中，已经限制args里面得是数组了。所以你不能直接使用key value字典来对应，而比较好的实现方式就是上图face editor的，将数组中的参数再包一层，这样方便阅读很多，也更容易维护~

"插件名字": {
       "args": []
 }

然后当所有的插件的参数都赋给这里的script_args之后，将会执行process

script_args可以简单阐述一下，他里面是所有我们这一次生产或者这一次命令所执行需要的所有参数都在里面，也就是每一个插件的参数包括sd本身的参数，都在这里
process是从： img2imgapi（ or text2imgapi）-> process_images -> process_images_inner -> process 一步步执行而来，中间不阐述

process是sdwebui官方预留的一个第三方插件在生成阶段可以自由执行的模块，除此之外还有before_process、before_process_batch、before_process_batch等等，都可以在processing.py中的process_images_inner找到。

在这里，sd会将之前收集到的script_args包括一些其他需要的参数，一起作为process或者其他方法的传参，供插件处理，而刚才提到script_args中含有除controlnet以外的其他参数，这就是为什么我们的第三方插件也可以识别sd的基本参数了，比如mask，seed，width等

前提讲完，回到正题

上述插件中，roop并没有在文档中写明api调用方式，我们只能来看源代码了