让AI听话的一种办法（Stable Diffusion进阶篇：SVD 3）

动态内容在上一篇笔记里学会了参数以及文生图生视频的操作，可能还是会有小伙伴觉得进行一些参数的改动或者就目前的产出结果还不到自己的预期。

例如像是动作幅度太小，眼睛不够有神等，而也是SVD的一个缺点，它所产出的动态内容某种程度上是不可控的。

就现阶段而言，要控制SVD去动某个部分或者那个部位不要动都是比较难控制的，而目前想要AI画出符合自己预期的结果则又需要反复的“抽卡”。

当然ComfyUI的开发者们早就想到了这些，于是就有了一些节点可以动态控制画面的一部分区域，从而提高视频的可塑性。

所以今天的内容就是要让AI学会怎么“听话”

**蒙版
**

蒙版这个东西之前学习Stable Diffusion的小伙伴们应该就很熟悉了，为了防止有小伙伴忘记了：

正是因为有了蒙版的存在，在用AI绘制时可以用蒙版来控制AI只重绘画面里的一小部分，而这样的方法也可以运用在视频生成部分。

可能有些小伙伴知道Runway有一个运动笔刷功能可以做到这样的效果，ComfyUI也可以做到只让画面的一小部分动起来。在ComfyUI中有一个工作流：运动笔刷（下载链接在文末），直接将其拖拽进ComfyUI界面。

在工作流的最左边导入初始图片：

然后鼠标右键点击图像，选择在**遮罩编辑器（MaskEditor）**中打开

然后就可以在编辑器里面对想要更改的部分进行涂鸦画黑：

记得完成之后点击最右下角的Save to Node

然后就进行一些常规的参数设置后（也可以直接先默认试试）就可以点击添加提示词队列进行生成啦！

这个工作流里面还有其他的辅助功能选项：

这里的两个选项：蒙版反转和蒙版边缘羽化。

蒙版反转是会把蒙版控制的绘制区域倒转过来，像是我们刚刚涂鸦的是非人物的部分，反转就会变成涂鸦人物的部分。这个选项默认是关闭的，如果开启了那么所涂鸦的区域就会变成“固定不变的区域”。

蒙版边缘羽化是默认开启的选项，目的是为了让固定区域和动态区域之间的过渡变得更加自然，如果感觉涂鸦部分和非涂鸦部分的边缘比较生硬，那么可以增大一些边缘羽化的数值。

上述两个操作可以帮助我们出图的效果更符合预期，但是这种用手涂鸦蒙版的方式显然还是会有点瑕疵，毕竟没法完美贴合自己想要绘制的范围。

所以需要用到智能抠图工具：Segment Anything组件（忽略红色部分）

这个组件里面有两个功能强大的节点可以帮助我们只能识别并选定图像中的区域：

这里面的Grounding DINO是一个强大的零样本检测器，能够根据文本描述来检测图像中的任意物体并且生成一个大致的范围。

另一个SAM（Segment Anything Model）节点可以在这个已经生成的区域中再去进行更仔细地切割。这个东西也是WebUI里面的Segment Anything扩展，用的是同样的技术。

这个节点的用法也很简单，在导入图片之后在右侧的Prompt里面输入想要画面动起来的元素的提示词。

然后其他的参数也可以维持不动或者看了上一篇文章的小伙伴自行进行调节，之后点击添加提示词队列进行生成即可。

当然，如果这个元素在画面中占据的比例太小的话是不会有动态效果的，而生成区域太过固定的情况下可能会造成出框的违和感，这样的情况下需要降低几个控制动态水平的参数会比较好。

**放大补帧
**

之前所生成的视频只有个位数帧以及1024*576，但是现在的视频往往都是1024*1024以及30帧的视频，而接下来的这个工作流可以帮生成的视频补帧。

可以在最左边导入SVD生成的视频，然后在这里设置放大宽度、帧数等的信息，这样一来就可以调用R-ESRGAN模型进行放大以及FILM模型进行补帧。

不过最终生成的格式可能是webp，不太适合一些剪辑软件的导入，这个时候需要安装一个Video Helper Suite.

**https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite
**

下载完后使用这里面的Video Combione节点替换为默认的Webp保存节点，然后在下方的输出格式改为mp4等常见的视频格式即可。

问题汇总：

这里不说废话，我这篇文花费最多时间的就是解决那些无法正常下载插件的问题。

可能有小伙伴在导入上述工作流的时候会遇到一些情况：

例如这样的红色节点或者提示报错出现问题，接下来我就来提供一下我自己尝试有用以及可能可以帮助到其他小伙伴的方法。

第一个管理界面进行丢失节点安装：

在遇到丢失节点的时候，可以先去右侧工具栏的Manager管理界面进行丢失节点下载：

在最右侧有个Install进行下载，需要等待一段时间因为是链接GitHub的，在下载完毕之后关闭ComfyUI以及后台命令行，然后重启ComfyUI。

第二种方法：下载到本地

如果第一种方式提示下载失败了则可以点击页面中的链接

然后网页会跳转到该插件的官方GitHub页面，点击最右侧的绿色Code，选择DownloadZIP

在下载完后解压到ComfyUI的这个位置：

然后重启ComfyUI和后台命令行。

第三种：通过更改环境进行下载

这个比较简单但是得一步一步跟着学，万不得已走到这一步的小伙伴可以看下这个视频进行参考（我就不占用太多篇幅了）

https://www.youtube.com/watch?v=yjCa9WALzAs

**第四种：确认一下自己的ComfyUI以及插件版本是否是最新版本
**

这一点我为什么不放在最上面说呢？这里因为有些情况是ComfyUI比较老但是插件版本太新了不兼容，如果上述方法都不好用的话可以检查更新一下ComfyUI的版本和插件的版本。

当然还可能有其他情况，例如一些命令行里面的问题，如果遇到这类问题可以去这个网址进行询问，直接复制粘贴问GPT就行，这是一个B站up做出来专门回答ComfyUI问题的bot。

**https://www.coze.com/store/bot/7332400218706690056?bid=MDQEECxYhmZ78fEPKTe4HJ69ZZwEHgi1ufmaBNV46fM1nkSRCzBTu6WcQmHyAPsY5c1ijwQA&from=bots_card&panel=1
**

今天的内容就到这里啦！

希望大伙都不要遇到我踩到的坑，也希望我的解决方案可以帮助到大家。

大伙下篇笔记见，拜了个拜！

1girl, necklace, jewelry, solo, long_hair, gem, blue_eyes, red_lips, lips, tiara, pendant, pearl_necklace, bubble, beautiful girl

Negative prompt: (worst quality, low quality:1.4),deformed, bad anatomy, disfigured, poorly drawn face, mutation, mutated, extra limb, ugly, disgusting, poorly drawn hands, missing limb, floating limbs, disconnected limbs, malformed hands, blurry, ((((mutated hands and fingers)))), watermark, watermarked, oversaturated, censored, distorted hands, amputation, missing hands, obese, doubled face, double hands,(((missing arms))),(((missing legs))), (((extra arms))),(((extra legs))), badhandsv5, badhandv4, deepnegative

• Steps: 30

• Sampler: DPM++ 2M Karras

• CFG scale: 7

• Seed: 4068954081

• Size: 512x512

• Model hash: 7c819b6d13

• Model: majicmixRealistic_v7

• Denoising strength: 0.7

• Clip skip: 2

• Hires upscale: 3

• Hires upscaler: R-ESRGAN 4x+

• Pad conds: True

• Version: v1.8.0

**部分文章素材来源
**

原教程链接（下载链接在原视频简介中）：

https://www.bilibili.com/video/BV1iZ421t7Ax/?spm_id_from=333.337.search-card.all.click&vd_source=24f33eddf5587fb40e947798abce6715

100%解决问题！ComfyUI-安装报错问题的一系列终极解决办法_哔哩哔哩_bilibili

Aihelper帮助解决ComfyUI报错问题解决+怎么查看报错信息只需要这个3个工具基本能解决ComfyUI85%的问题_哔哩哔哩_bilibili

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除