comfyui全自动任意风格转换工作流，知其然知其所以然！

前字节AI绘画师

于 2024-10-11 09:44:02 发布

阅读量520

点赞数 8

文章标签： AI作画 stable diffusion 人工智能美女

本文链接：https://blog.csdn.net/m0_71745754/article/details/142845119

版权

搭建comfyui工作流就像在炒菜，炒着炒着你就知道有些菜系其实用的是同一种烹饪方法！之前很火的粘土风格工作流、陶瓷风格工作流、还是我今天要讲的3D动漫工作流其实工作流搭建原理不尽相同！

老规矩先说工作流原理：搭载文生图和脸部固定模型（例如ipadapter face\instand ID\PULID),和相关风格lora，并配合相关风格提示词及模型一键生成即可，指定图像任意风格加controlnet控制即可！

接下来我们逐步拆解搭建方法：

基础版：

第一步：搭载文生图模块：

第二步：搭建pulid换脸模块

这里PULID需要加载三个模型，分别是pulid模型，eva_clip模型及face analysis（insightface)模型！,和文生图的连接方式为模型通道!

PuLID 模型是一种用于图像处理和生成的深度学习模型。在这里，它加载了名为 puli-adapter_pulid_sdxl_fp16.safetensors 的模型文

EVA CLIP 模型，CLIP 模型是一种将文本和图像联合嵌入到相同空间的模型，用于文本图像匹配、图像生成等任务。EVA CLIP 是 CLIP 模型的一个变种。

InsightFace 是一个用于面部分析的深度学习模型，常用于面部识别、面部属性分析等任务。

这里的用法和instand ID十分相似，我们在连接image的时候可以用image crop face精确裁剪出人物面部！

第三步：加载LORA和提示词

这里你想生成什么样的风格的lora你就用什么风格的lora,粘土、3D动漫都可以，因为图像已经锁定，所以lora风格你可以任意切换了！这里可以加载sytles selector提示词工具可以选择不同风格，再用string fuction和CR text将你要输入的提示词append组合输入到提示词正向！

串联起来lora和pulid，我们看看效果怎么样!是不是既有了人物的脸型又有了3D动漫风格！

进阶版：

1.vae encode到latent

现实中如果你去靠这个工作流接单，客户给你一张照片让你转化风格，那么我们只需要vae encode到latent或者直接连接easy use的加载器的empty latent with和height!

2.图像比例调整及提示词反推

这里要将图像调整到XL生图适合的比例，并选择keep proportion保持比例，以为要更大程度的还原原图的风格所以我们再用wd14 tagger反推出图像提示词，输入到strings funtion!

3.controlnet 控制人物主体及构图

这里用anytext模型，在固定人物姿势及细节方面真的非常不错而且不用连接预处理器！

这样高级版的comfyui任意风格生成器，就搭建完成了，接下来看看生成效果！

好了这篇就到这里，最后，感谢每一位阅读我文章的朋友，如果你觉得文章不错，请随手点赞、在看、转发吧，也欢迎你给个星标⭐，以便第一时间收到我的推送。感谢大家的一路陪伴，希望我们共同见证一个充满希望和机遇的未来!

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。