细节控-AI先行者的博客

基础工作流：文生图，图生图，面部修复，lora接入，高清修复，SDXL等工作流

ComfyUI为Stable Diffusion提供了一个强大的节点流程操作界面，带来了更多的自由度和可复现性，同时降低了显存要求。对于那些希望深入了解和利用Stable Diffusion技术的用户来说，是一个不可多得的选择。(但节点式的工作流也提高了一部分使用门槛。

在五一假期期间，一款名为Remini的AI照片编辑软件在小红书上迅速走红，其独特的“丑萌”黏土风格滤镜深受广大博主和用户的喜爱，引发了一波热潮，让人们玩得不亦乐乎。Remini软件提供的这种视觉效果虽然看起来有点“丑萌”特效，然而，正是这种独树一帜的画风，使得Remini迅速走红，其病毒式的传播效应吸引了众多用户翻出自己的旧照，加入到这场创意修图的行列中。尽管Remini提供了七天的免费会员体验，但之后使用还是需要付费的。

在中有多种方式可以实现，简单的方式是使用VAE内补编码器进行局部重绘，也可以用进行局部重绘，还可以用controlNet的inpaint模型进行局部重绘！

ComfyUI-Impact-Pack 是一个功能强大的插件，专为 ComfyUI 设计，用于从图片中识别出人脸面部，重绘人脸。

IPAdapter V2是ComfyUI扩展中的一次重大突破，它带来了更加强大和高效的图像处理功能.IPAdapter新版本更新后，工作流更加简洁。但是很多换脸或者是风格的重绘的工作流，需要修改后才能使用。插件：https://github.com/cubiq/ComfyUI_IPAdapter_plus.git。

没调试过Comfyui的工作流节点报错信息，不算真正入门comfyui。ComfyUI的插件管理，和应用端，没有webUI成熟。玩comfyui就是在不断的报错信息中，在调试工作流的过程中成长起来的。C1.ComfyUI或节点版本未更新（可能是comfyui，也可能是节点）2.依赖和开发工具报错（CUDA和Python版本）3.节点必需的模型缺失4.工作流提示安装成功，但实际未安装成功1.看命令栏窗口的报错信息，针对性调整2.更新comfyui版本，更新节点版本。

Playground在去年发布Playground v2.0之后再次开源新的文生图模型Playground v2.5。新版本提升了图像的美学质量，增强了颜色和对比度、改进了多纵横比图像生成，可以生成各种比例图像以及人像细节的提升。官方宣称：根据用户研究表明，V2.5的模型优于 SDXL、Playground v2、PixArt-α、DALL-E 3 和 Midjourney 5.2。

在使用comfyui工作流时经常遇到插件安装，模型下载的问题，为了方便大家使用和体验comfyui，我在仙宫上部署了一个云端comfyui镜像包，开放给大家使用。

高清放大，是AI绘画和视频处理中最为基础而又关键的特效之一。在COMFY-UI中，学会如何实现高清放大成为不可或缺的技能。

有粉丝问能不能出一个SD制作热播影视剧Q版人物的教程。刚好我最近也刷到了几个号，对这方面也感兴趣，于是去研究了出图的逻辑。热播电视剧的Q版人物，一方面不缺流量，IP也能带来一波回忆杀。

AI换脸技术发展迅速，roop，Reactor，ipadapter-faceid，photomaker，InstantID，换脸神器更新非常快。对比lora训练，faceID，intantID，IPA，在人脸风格的迁移上，是目前AI换脸的主要方式。而最新出的InstantID，只需单个图像即可实现ID保留生成，相似度极高。

4.提示词不要太复杂：comfyui的提示字符数不能太多，在animate提示词中，不要放太多的画质修饰词。5.成熟稳定的模型：使用主流的大模型，如麦橘系列（参考L站，C站等排行榜），大模型的效果比较稳定。3.手部隐藏：AI绘画对手的姿势不太友好，可以在生成的构图中隐藏手（比如增加提示词：手在背后）第一段是人物主体描述词，比如是一个女孩，穿什么衣服，在什么场景下，镜头是全身还是半身，或者特写。1个女孩，单人，黑色头发，白色连衣裙，全身，户外，中等身材，新款中式西装，帧数不能太短，不然画面会很跳。

秋葉aaaki大佬的ComfyUI整合包，解压即用,一键启动，预置不少插件（工作流节点）。

这是一个使用了LCM+lora加载器+CN（depth+tile）的工作流。#comfyui #ControlNet #工作流。配置了3个lora加载器，用来进行人物和风格设定。LCM lora加载器，加快生成图片的时间。网盘地址：专栏工作流--ControlNet。提示词编辑器，预制了默认的动态提示词。点击生成图片，组成了右侧的图片。1.tile用来进行风格控制。lcm+CN工作流.json。2.depth用来构图。

Efficiency-nodes-comfyui是comfyUI上一款提升节点使用效率的插件。使用效率节点，可以大大提升工作流的灵活性和降低使用复杂性。

IPapapter 的团队推出IP-Adapter-FaceID模型，相较于旧模型。一张照片换脸现在可以更精准了。使用人脸识别模型中的人脸 ID 嵌入代替 CLIP 图像嵌入，此外，使用 LoRA 来提高 ID 一致性。IP-Adapter-FaceID 只需文字提示即可生成以人脸为条件的各种风格图像。

知道Turbo的原理后，我们就可以在ComfyUI中自由搭载sdxl-turbo、LCMlora、controlnets、animate快速组成文/图生视频工作流程了。加载SVD+SDXL-Turbo的工作流，使用turo+svd-xt模型，帧数24，步数20，cfg为2.5，采样器euler，视频尺寸512x768。加载turo工作流，点击启动，不用多久，就生成了图片。turbo是一个实时生成的模型，看官方的视频，基本上可以看到它的输入就可以实时渲染了。SDXL turbo模型可在ComfyUI中使用。

除了示例中的例子，还有很多种AnimateDiff的组合方式，可以说文生图中的工作流都适用于AnimateDiff，只需要在model后添加motion module和motion lora即可。如果SD checkpoint选择的是SDXL，那motion module也要与之对应，选择支持SDXL的motion module。

虽然通过简单的提示词，在文生图和图生图中能生成不错的图片。但是如果要精准控图，实现人物姿势，深度图，画风迁移等进阶应用，就离不开ControlNet控图了。SD WEBUI实现精准控图，离不开ControlNet。高手进阶，AI绘画的灵魂。ControlNet的绘画模式是：先让用户输入一张参考图，AI根据指定的预处理模式，生成一张新图。常用 ControlNet预处理器包括：tile、openpos、depth、candy、lineart等。

但是，实际上多轮测试后，会发现LCM的画质还是会比正常的lora生成的效果略差一些。以下是我使用SDXL模型，使用LCM-LORA的测试（16G显存），生成768X1024的图片,用时2.47S。它的特点是可以通过少量步骤推理合成高分辨率图像，使图像生成速度提升 2-5 倍，需要的算力也更少。从效果对比，生成图片的时间效率来说，ComFYui的SDXL模型使用效果和生成时间提升更佳。工作流名称：LCM工作流--ComfyUI-LCM-LoRA-txt2img。从2张图片的质量来说，画质还是可以的。

然而，值得注意的是，在step control模块里，steps模块控制着总步数。而end at step模块的步数则是指在base模型生成的步数后，剩余步数开始使用refiner模型进行生成。这一步的灵活性，使得我们可以根据不同的场景进行微调，更好地满足我们的需求。SDXL模型最为高效的表现是在1024乘1024分辨率及以上，这能够保证我们获得更为清晰和令人满意的效果。首先，我们需要导入SDXL模型，在两个 checkpoint加载器模块，分别添加base模型和refiner模型。

秋葉aaaki大佬的的绘世启动器，支持管理comfyui了，这对comfyui的使用者来说，是个好消息。

ComfyUI的插件管理，和应用端，没有webUI成熟。玩comfyui就要适应各种不断的报错信息。

最近ComFYUI的应用很火，基于ComFYUI的工作流的灵活性很强，使用ip-adapter、AnimateDiff、controlnet等结合有很多新的玩法，本文着重介绍ComFYUI中ip-adapter的应用介绍。

分别将“模型”和“Checkpoint加载器的模型”连接，“正面提示词”和“正面提示词的条件”连接，“负面提示词”和“负面提示词的条件”连接。我们可能注意到，“Checkpoint加载器”还剩下一个“VAE”未连接，我们将它与另一个VAE连接起来。首先，右键点击新建节点，选择加载器。在这个过程中，节点的创建方式有两种：节点目录方式：通过鼠标右键呼出节点目录，你可以直接从目录中选择所需的节点。在生成图像的过程中，你可以看到当前进行到哪一步，哪一个节点会被显示为绿色的框，这非常方便我们熟悉工作流程。

与文字生成图片的过程相比，图片生成图片的预处理阶段，先把噪声添加到隐空间特征中。我们设置一个去噪强度（Denoising strength）控制加入多少噪音。如果它是0，就不添加噪音。如果它是1，则添加最大数量的噪声，使潜像成为一个完整的随机张量，如果将去噪强度设置为1，就完全相当于文本转图像，因为初始潜像完全是随机的噪声。

ComfyUI-Manager是一个在线安装插件、模型等的一款插件，可以通过官网下载，也可以通过我提供的插件包，将解压好的文件夹放入以下目录“E:\ComfyUI_windows_portable\ComfyUI\custom_nodes”就可以了，然后重新启动

AI绘画离不开lora模型，学会lora工作流节点，才能灵活应用。