ComfyUI 多角度人像生成工作流深度解析, 新手也能轻松掌握!

img

img

img

img

img

img

上网站直接运行ComfyUI工作流, 就可以得到类似的效果, 搜所多角度
https://www.runninghub.cn/?utm_source=kol01-RH035

上面的链接注册后, 就有金币赠送, 可用于生图, 还能使用牛逼的显卡4090.


这个工作流的主要任务,就是生成一个人物在不同角度下的图像。听起来是不是很神奇?我们可以把这个过程想象成给一个虚拟模特拍照,从各个角度捕捉她的风采。

整个工作流的核心在于如何让生成的图像在多个角度下保持一致,就像真的是同一个人在转动身体一样。这里面有两个关键点,也是新手们可能会觉得有点挑战的地方:

  1. 固定人物特征:

    我们要确保不同角度的图像看起来都是同一个人,这就需要用到一些技巧来固定人物的面部特征和其他关键属性。

  2. 多角度的协调:

    生成多个角度的图像,并且让这些角度之间的过渡自然流畅,这也是一个难点。

接下来,我们就深入聊聊这两个重点难点,看看它们是如何在 ComfyUI 中实现的。

建议观看后面的工作流之前, 大家先自己跑一遍工作流.
上网站直接运行ComfyUI工作流, 就可以得到类似的效果, 搜所多角度
https://www.runninghub.cn/?utm_source=kol01-RH035

固定人物特征:让“她”始终如一

这一步的核心在于ApplyPulidFlux 这个节点,
img

它就像是一个神奇的“面部识别器”,确保我们在各个角度看到的都是同一张脸。这个节点背后有一个叫做Pulid 的 GitHub 仓库,里面有更详细的技术说明,感兴趣的小伙伴可以去深入了解一下。
https://github.com/ToTheBeginning/PuLID

ApplyPulidFlux 节点利用了一些先进的图像处理技术。你可以把它想象成一个“特征提取器”,它能从我们上传的参考图像中提取出人物的关键特征,比如脸型、眼睛、鼻子等等。然后,在生成新图像的时候,它会像一个“特征注入器”,把这些特征巧妙地融合到新的图像中,确保人物的一致性。

ApplyPulidFlux 节点还把 Flux 模型融合了进来, 这个模型是一种特殊的扩散模型, 可以更好的保持人物特征的一致性.

在这个工作流中,PulidFluxModelLoader 节点加载了pulid_flux_v0.9.0.safetensors 模型, 这个模型是ApplyPulidFlux 节点保持人物一致性的关键,PulidFluxInsightFaceLoaderPulidFluxEvaClipLoader 分别加载了面部识别模型和 CLIP 模型, 用于从图片中识别人物面部信息和图像特征.

Apply PuLID Flux的输入

img

ApplyPulidFlux 节点接收了来自PulidFluxModelLoader 节点的模型,PulidFluxInsightFaceLoader 节点的面部信息,PulidFluxEvaClipLoader 节点的图像特征, 以及LoadImage 节点的参考图像, 经过一系列内部运算之后, 输出一个带有固定人物特征的MODEL, 然后BasicGuider 节点接收这个MODEL, 然后结合CLIPTextEncode 节点的提示词信息, 生成一个GUIDER 对象, 用于指导后续的图像生成过程.

你能理解算你牛, 总之这个pulid的作用就是, 你给一张图片, 我就能生成同一个人物的图片,

  • 人脸肯定是非常像的, 因为有insightface
  • 衣服这个变不变呢? 试试就知道了

  • 左边是原图
  • 右边是生成的图
    img

口红的颜色,和头发的颜色, 以及耳环比较像,
人脸不像, 不过这张是512X512的, 我们试试1024像素的.

1024
img

1024的人脸, 比512的人脸像, 大门牙和原图一样, 是漏出来的.

多角度协调:自然过渡的秘密

引导器, 导演
img
采样器, 摄影师
img

要生成多角度的图像,我们需要用到BasicGuiderSamplerCustomAdvanced 这两个节点。BasicGuider 节点像一个“导演”,指导着整个图像生成的过程。而SamplerCustomAdvanced 节点则像一个“摄影师”,根据“导演”的指令来拍摄不同角度的照片。

BasicGuider 节点接收了ApplyPulidFlux 节点处理过的模型, 这个模型包含了要生成的人物形象, 然后BasicGuider 节点根据CLIPTextEncode 节点提供的提示词信息, 为图像生成过程提供指导, 确保生成的图像符合提示词的要求, 同时保持人物形象的一致性,

BasicGuider 节点会输出一个GUIDER 对象, 这个对象会被传递给SamplerCustomAdvanced 节点, 用于指导采样过程, 可以把GUIDER 对象理解为一种控制信号, 它告诉采样器每一步应该如何操作, 以便生成符合要求的图像.

SamplerCustomAdvanced 节点是实际执行图像生成的节点, 它接收来自BasicGuider 节点的GUIDER 对象,RandomNoise 节点的随机噪声,KSamplerSelect 节点选择的采样方法,BasicScheduler 节点提供的时间步信息, 以及EmptySD3LatentImage 节点提供的初始图像, 然后进行迭代采样, 生成最终的图像.

SamplerCustomAdvanced 节点内部, 首先根据GUIDER 对象, 结合RandomNoise 节点的随机噪声, 生成一个初始的图像, 然后, 根据KSamplerSelect 节点选择的采样方法 (例如 Euler), 以及BasicScheduler 节点提供的时间步信息, 对图像进行逐步的去噪处理, 在每一步去噪过程中, 都会根据GUIDER 对象进行调整, 以确保生成的图像符合提示词的要求, 同时保持人物形象的一致性, 经过多步迭代之后, 最终生成一个清晰的图像.

BasicScheduler 节点根据模型, 生成一系列时间步信息, 这些信息用于控制SamplerCustomAdvanced 节点的采样过程, 可以把时间步理解为采样过程中的一个个步骤, 每个步骤对应一个特定的时间点,

BasicScheduler 节点会根据KSamplerSelect 节点选择的采样方法, 以及指定的步数 (例如 20 步), 生成一个时间步序列, 然后传递给SamplerCustomAdvanced 节点,SamplerCustomAdvanced 节点会在每个时间步上进行采样, 逐步生成最终的图像.

这个自定义采样器的连线, 照抄连线就完了, 没必要记, 就是固定搭配, 学英语的都知道, 固定搭配少不了.


多角度提示词

为了让不同角度之间的过渡更自然,我们还用到了一些提示词技巧。比如这段:

这张图片被分成了四行四列,总共有16个不同的姿势。以下是每个姿势的描述:第一行:她面向左侧,头部微微向下倾斜,直视前方,表情中性。她面向左侧,头部微微转向相机,目光平静而专注。她将头部转向相机,目光稍微偏向一侧,表情自信而镇定。她面向右侧,头部微微倾斜,严肃地凝视远方。第二行:她面向左侧,发型整洁,目光专注,姿态镇定。她继续面向左侧,头部微微抬起,表情变得更加坚定。她面向前方,直视相机,目光坚定而稳定。她面向右侧,表情放松,头部微微转向相机。第三行:她面向左侧,头部微微低下,给人一种沉思的表情。她面向左侧,表情柔和,面部姿态放松。她面向前方,头发略微松散,表情平静而温柔。她面向右侧,保持着整洁的发型,目光投向远方。第四行:她面向左侧,头部更低,显得宁静而沉思。她面向前方,头发略微凌乱,表情温柔而坚定。她的头发略微蓬乱,面向前方,目光坚定。她面向右侧,目光投向远方,头发整洁,姿态优雅。每个姿势在表情和态度上都有微妙的变化,传达出不同的情绪和情感。

这段提示词详细描述了16种不同的姿势, 通过ConcatStringSingle 节点,JjkText 节点,ShowText|pysssss 节点 和CLIPTextEncode 节点 把提示词信息传递给BasicGuider 节点, 从而实现多角度的生成.

CLIPTextEncode 节点接收中文提示词, 以及英文提示词, 将其转换为模型可以理解的向量表示, 并将这些向量信息传递给BasicGuider 节点, 用于指导图像的生成, 从而确保生成的图像符合提示词的描述.

DualCLIPLoader 节点加载了两个 CLIP 模型,CLIPTextEncode 节点接收了DualCLIPLoader 节点的CLIP 对象, 用于将文本提示词转换为向量表示.

核心关键部分

  • Apply PuLID Flux, 保证人物特征一致性,
  • CLIP文本编码(提示)的正向提示词, 对人物的多个不同角度, 不同镜头的描述

总结

这个工作流通过巧妙地结合ApplyPulidFluxBasicGuiderSamplerCustomAdvanced 等节点,实现了多角度人像图像的生成,并在不同角度下保持了人物特征的一致性。通过理解这些节点的原理和它们之间的相互作用,即使是 ComfyUI 的新手也能掌握这个工作流,并创造出属于自己的精彩作品!希望这篇文章能帮到大家,让我们一起在 ComfyUI 的世界里探索更多可能吧!

模型大合集

转存文章底部的更多ComfyUI模型与工作流,
搜索safetensors, 就有859个模型文件,
各种常见大模型, 我都分类整好, 全部上传网盘了
网盘文件, 随时更新

img

需要哪个就下载那个, 不要都下载, 因为太大了, 现在有792GB.

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

在这里插入图片描述

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

在这里插入图片描述

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

在这里插入图片描述

在这里插入图片描述

这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值