[ComfyUI]人物一致性升级,想要什么姿势都可以

大家好,

今天分享个超级强的人物一致性方案的思路,让你解锁各种姿势。

一、介紹

最近马上要和影视机构合作开展3天的线下课程,所以这周在研究人物一致性的方案,今天来介绍下我最近研发的一套人物一致性的方案。

用户只要上传一张主体人物,然后再上传任意角度姿势的人物参考图,就可以实现让主体人物解锁各种姿势的效果。

这套流在各种场景都有需求,比如影视、写真、动画,即可实现角色一致性的创作。

这套流收费,但是思路可以给大家说说。

先来看一些效果吧

图片

图片

图片

二、思路分享

图片

来谈谈制作思路,这套流核心是可以参考姿势,来让主体人物迁移到参考图中,并且姿势是可以控制定制的,这样可控性就大大加强了。 这次主要是Union-Pro-2.0的升级,让CN控制效果变得更好。

工作流我分成这几个步骤

  • 图像处理
  • 姿势图提取
  • 采样迁移
  • TTP放大
  • 换脸

图像处理

图片

第一步我们要对主体图和参考图做处理,主要是图像的拼接以及遮罩的处理,方面后续迁移中使用。

参考图遮罩这里通过了手动涂抹和自动提取两种方式,系统自动判断,就是说你如果手动右键涂抹了遮罩,就使用该遮罩,否者系统就自动提取人物主体遮罩。

图片

姿势图提取

这一步我们要提取下参考图的姿势,这样迁移生成的时候就会参考我们这个姿势图,这就比以前的迁移更加可控。

图片

首次迁移采样

图片

这一步是核心,集合了Fill+Redux+IN-Context+ControlNet,来实现初步的生图。

这一步核心是生成整体布局以及构图符合要求的图,因为我们最早分辨率是限制1024的,所以出的图可能比较出差,或者人物也不是非常像,但是没关系,后面我们可以通过放大以及换脸来实现。

TTP放大

放大和换脸是可选方案,因为可能第一步就生成脸型很接近的。

图片

该模块用效果很好的TTP放大技术,从616x1024长边放大到1588x2641,实现2K的效果。

如果想要更高的放大效果,修改放大倍数即可,我默认设置4,你可以设置6或者8,当然,越高的倍数,对显存要求就越高。

图片

换脸

换脸这里选择很多,你可以用 FLux Pulid 的,也可以用 SDXL InstantID 的,我这边选择用 InstantID 方案,感觉效果会更好。

InStantID 是可以可以提供多组图当做人脸参考的,我这里就用了原图,如果想要更像的人脸迁移,最好是提供同一个人的4张图片,这样效果会非常好。

图片

接着我使用SDXL的流来实现初步的换脸,结合InstantID插件

这里大模型用的是dreamshaperXL图片

使用中技巧

跑图的时候,先把TTP放大和换脸的先关闭,先执行第一步采样生图。

图片

抽出的卡感觉构图没大问题的时候,再开启放大和换脸去跑图。

有时候姿势参考会有瑕疵,比如手的动作没完全参考姿势图,这时候可以提高CN的权重,修改下随机值再去抽卡。

还有,参考图和主体图最好构图差别不会很大,这种情况下迁移的效果才是最好的。

以上就是初版人物一致性新方案,后续还有迭代再说明。

来看看我跑的其他案例

图片

图片

图片

效果还是很惊艳的,一致性方案一直是可以探索的方向,希望这套流可以给大家提供借鉴。
为了帮助大家更好地掌握 ComfyUI,我花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

img

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值