[ComfyUI教程]图像生成模型 OmniGen，人物一致性处理的也太好了

最新推荐文章于 2025-04-10 09:57:36 发布
最新推荐文章于 2025-04-10 09:57:36 发布
阅读量1.4k 收藏 23
点赞数
文章标签： AIGC 人工智能 comfyui AI作画 comfyui教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84760527/article/details/144372412
版权

前言

这个插件在处理人物一致性上出奇的强大，可以用来创作儿童绘本了，快来看我介绍。

0****1

介绍

牛逼了，国内最近出了个很不错的图像生成模型 OmniGen，由北京人工智能研究院开源。

OmniGen 是一个统一的图像生成模型，可用于执行各种任务，包括但不限于文本到图像生成、主题驱动生成、身份保留生成、图像编辑和图像调节生成。OmniGen不需要额外的插件或操作，它可以根据文本提示自动识别输入图像中的特征（例如，所需的物体、人体姿势、深度映射）。

很有趣，我最喜欢的是里面人物一致性，测试下来挺不错的。

所有的AI设计工具，安装包、模型和插件，都已经整理好了，👇获取~

在这里插入图片描述

02

安装使用

2.1 插件安装

插件项目地址：

https://github.com/AIFSH/OmniGen-ComfyUI

管理器搜索 omnigen 就可以安装了

安装好了记得重启服务

2.2 模型安装

模型页面：https://hf-mirror.com/Shitao/OmniGen-v1/tree/main

要全部下载，存放路径：\models\AIFSH\Shitao\OmniGen-v1

不方便科学的小伙伴，文末也提供了模型和工作流的网盘下载

对了，这个插件对Transformer依赖要4.45以上，记得升级下，不能会冲突。

03

工作流介绍

核心节点就一个，OmniGenNode，这个没啥好说的，参数默认就好了。

上面就是简单的文生图，这个中规中矩，我们主要围绕人像迁移来举例子

就拿上面这个举例子，我们让这个姑娘吃早餐

加载一张图片接入左边参数images_1节点，然后提示词需要做出提示，让系统知道是哪张图片，提示词如下：

Little girl in image_1 eating breakfast at the table

可以看到，我们有指明了图片来自 image_1，原理就是这么简单，下面这个迁移的不错，不管是衣服、样貌都迁移的不错。

这是单张的，接下来我们测试多张的情况，这次加载2张照片

The man in image_1 wraps his arm around the woman’s waist and looks into the camera，woman is in image_2

图片 1 中的男子搂着女子的腰，看着镜头，女子在图片 2 中。

效果不错吧，这效果，完全可以造谣了哈哈。

还有更强的用法，我们还可以固定他们的姿势，下面这个案例是在让上面男女坐在咖啡厅，然后姿势的话参考了另外一张图，我们先通过提取骨骼图，再当作参数参入，这样就搞定了。

提取姿势提示词：Detect the skeleton of human in image_1

整合提示词：Following the pose of this image:image_3,A man in image_1 and a woman in image_2 are sitting and chatting in a cafe

我只能说有点利害，这让我看到了AI多模态的未来，不需要额外加各种控制插件，都内置好了，我只要傻瓜式的使用就行。

很看好这个模型的未来发展，目前占用内存还行，12G左右，但是跑图时间太长了，我跑一张图要60秒，人脸这块希望后续再加强一些，未来可期。

04

总结

以上就是 OmniGen 这个插件的介绍了，这个插件挺有意思，下次我试试用来创作儿童故事，这个一致性的能力真的太强了。

技术的迭代是飞快的，要关注最新的消息才不会掉队。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南
  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记
  • …

img

二、ComfyUI基础入门
  • 软件安装篇
  • 插件安装篇
  • …

img

三、 ComfyUI工作流节点/底层逻辑详解
  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全
  • …

img

四、ComfyUI节点技巧进阶/多模型串联
  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联
  • …

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解
  • 图像分辨率
  • 姿势
  • …

img

六、ComfyUI超实用SDXL工作流手把手搭建
  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建
  • …

img

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

在这里插入图片描述

img

AI绘画小33
关注
ComfyUI工作流 对人物图像进行抠图并替换背景
Mr数据杨
12-28 270
此工作流旨在通过深度学习模型完成精确的人物抠图及背景替换操作。其核心基于 SAM（Segment Anything Model）与 Grounding DINO 模型的强大语义分割能力，通过加载不同类型的背景与细节优化模型，使结果既自然又精致，适合多种场景应用。该工作流旨在通过高效的图像分割与背景处理技术，将图像中的人物抠取出来，并替换为新的背景。利用 SAM 模型和 GroundingDINO 模型进行语义分割与遮罩生成，结合 ControlNet 模型实现细节优化和背景融合，使最终的图像效果自然逼真。
【ComfyUI专栏】ComfyUI实现多模型融合生成图片
技术与管理的平衡木-
03-27 394
此处的Clip融合指的是将两个Clip模型的输出特征或权重按照一定的策略或比例进行结合，以增强模型对文本和图像之间关联的理解能力，从而提升生成图像的质量和相关性。在某些场景中，单一模型可能无法满足生成图片的需求。此时，我们需要融合两个不同的模型来实现目标，这就涉及到双模型的加载与使用。在模型融合过程中，我们设计了一个融合节点，用于将两个模型的输出按特定比例结合，以实现优势互补，满足更复杂的图像生成需求。我们在实际的成图过程中来看下成图的对比情况，我们就能够非常清楚的了解模型混合后带来哪些改变。
【ComfyUI工作流】人物一致性工作流
My_Weakness的博客
03-22 3853
知识星球:71297236该星球不仅包含大量的节点详细介绍还定期做工作流分享以及思路详解，还会解决各种报错问题，欢迎大家加入！前言：本期分享一个人物一致性控制工作流，主要思路是通过固定随机数种子，定制潜空间噪声图案，提示词表情控制来实现任务一致性的控制，下面将进行工作流的讲解。***宏观工作流预览从宏观层面看，工作流主要有四部分组成，分别是提示词控制区域，主干道区域，潜空间控制区域和最终的图像预览区域。***提示词控制区域在提示词控制区域，我们设置了文本输入区域和SDXL Prompt Styler两个提示
[ComfyUI教程]OmniGen：全新图像一致性生成模型，人物一致性解决新方案！
2401_84760527的博客
12-11 3283
comfyui教程：国内 AI 的发展也是越来越好了，又一款国内的图像生成模型来了，由北京人工智能研究院开源的统一图像生成模型：OmniGen。OmniGen 不仅仅是可以简单的文生图，还可以在保持图像一致性的前提下进行图像编辑，而且图像编辑功能相当强大。可以把整个人物或者是物体迁移到新的生成图像中，以人物为例，不仅仅是简单的换脸，可以把整个人物在保持一致性的情况下融入新的场景中，并且根据文本描述对图像中的人物进行编辑。而且可以多个人物或者物体进行一致性操作。
超详细！ComfyUI 全方位入门指南，初学者必看，附多个实践操作
2401_85688943的博客
03-05 1120
本文正文字数约 8300 字，阅读时间 20 分钟。如果按照文章实操一遍，预计时间在半小时到两小时不等。在上一篇文章中，我向大家介绍了有关于 Stable Diffusion 的基本概览，同时也在文章里放置了一些相关的工具链接可以方便的使用 Stable Diffusion 生成图像。
[ComfyUI]OmniGen：全新图像一致性生成模型，人物一致性解决新方案！
2401_85725028的博客
11-04 1444
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。可以把整个人物或者是物体迁移到新的生成图像中，以人物为例，不仅仅是简单的换脸，可以把整个人物在保持一致性的情况下融入新的场景中，并且根据文本描述对图像中的人物进行编辑。希望后续可以有更好的版本出现。AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
[ComfyUI]图像生成模型 OmniGen，人物一致性处理的也太好了
2401_85688943的博客
11-06 1421
牛逼了，国内最近出了个很不错的图像生成模型 OmniGen，由北京人工智能研究院开源。OmniGen 是一个统一的图像生成模型，可用于执行各种任务，包括但不限于文本到图像生成、主题驱动生成、身份保留生成、图像编辑和图像调节生成。
万能图像生成模型OmniGen，附Comfyui本地部署及一键整合包
Misdirection_XG的博客
02-13 1128
需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】**一、AIGC所有方向的学习路线**AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。二、AIGC必备工具工具都帮大家整理好了，安装就可直接上手！三、最新AIGC学习笔记当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
Comfyui一个类似PS的图像处理工具.zip
04-15
【项目资源】：图像处理。包含前端、后端、移动开发、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源等各种技术项目的源码。包括C++、Java、python、web、C#、EDA等项目的源码。 【适用人群】：...
ComfyUI中的图像稀释处理
u013224364的博客
05-06 551
图像就暗淡了一些，但是还是有一些彩色的，相当于把它放在水里浸泡了一样，掉色了，这就是稀释，我如果设置为1，直接就变成黑白图片了，如下。【保姆级教程】一口气分享在ComfyUI中常用的30多种基本图像处理方式。为0表示不变，我设置大一点，设置为0.5看看，如下。看，一点彩色都没有了，相当于完全掉色了。用下面的节点对图片进行稀释处理，如下。星球号：32767063。
ComfyUI中的图像拼接处理
u013224364的博客
05-06 5336
【保姆级教程】ComfyUI中常见的十几种多图处理节点，包括图像填充、图像拼接、图像混合等等。默认就是把两张图片左右拼在一起，我们想要上下拼在一起呢？我们就把方向设置为下，如下。上面是直接拼在一起的，我们还想要个羽化效果呢？用下面这个节点，可以设置羽化值，如下。如果你想把两张图片拼在一起，就用下面这个图像联结节点，如下。它不仅可以拼接两张图片，它可以一次性拼接四张图片的，如下。还有下面这个节点也可以把多张图片拼在一起，如下。拼接的时候还可以设置边框，如下。星球号：32767063。
ComfyUI人物一致性终极方案！工作流深度拆解：三分钟实现多角度角色零差异生成
最新发布
m0_59162559的博客
04-10 993
ComfyUI最新工作流打破角色生成瓶颈！本文拆解F.1模型核心算法，手把手教你用特征锚点锁定人物姿态、表情、光影，实现跨场景无缝衔接。从动漫人设到虚拟主播，效率提升300%！
AI副业行赛道：利用ComfyUI工作流一键生成儿童绘本故事！
xiqng17111342931的博客
07-09 995
创意无界：利用ComfyUI工作流一键生成儿童绘本故事在当今数字化迅速发展的时代，图像处理技术已经变得越来越普及。特别是在内容创作领域，有效的图像处理工具不仅能提高工作效率，还能开辟新的商业模式。ComfyUI工作流作为一个先进的图像处理平台，为用户提供了一系列强大的功能，尤其是在儿童绘本创作方面表现出色。一、ComfyUI工作流概述ComfyUI工作流是一个集成了多种图像处理功能的平台，它可以通过简单的操作来实现复杂的图像生成和编辑任务。
OmniGen: Unified Image Generation——统一图像生成模型
Together_CZ的博客
12-01 752
OmniGen: Unified Image Generation——统一图像生成模型
（完整版）从零开始教你玩转ComfyUI-保姆级部署教程-手把手带你ComfyUI工作流搭建
热门推荐
php源码
08-15 3万+
ComfyUI就像拥有一支神奇魔杖，可以轻松创造出令人惊叹的AI生成艺术。从本质上讲，ComfyUI是构建在Stable Diffusion之上的基于节点的图形用户界面(GUI)，而Stable Diffusion是一种最先进的深度学习模型，可以根据文本描述生成图像。但ComfyUI真正特别之处在于，它如何让像你这样的艺术家释放创造力，将你最疯狂的想法变为现实。想象一下有一块数字画布，你可以通过连接不同的节点来构建自己独特的图像生成工作流，每个节点代表一个特定的功能或操作。
零基础入门ComfyUI（一）初识ComfyUI
2401_84760322的博客
08-08 5821
AIGC 中文本生成图片的两大阵营，和Midjourney。Midjourney 于 22 年3 月面世，22 年 7 月份的公测 v3 版本火出圈，迅速成为讨论焦点。同年7月Stable Diffusion问世，解决了绘画的细节及效率问题，通过算法迭代将 AI 绘图的精细度提升到了艺术品级别，并将生产效率提升到了秒级，创作所需的设备门槛也被拉到了民用水准，使得消费者级别GPU也可以使用；（你可能血赚，但是老黄绝对不亏）
ComfyUI 初学者指南
2401_84760719的博客
05-31 7978
ComfyUI 是一个基于节点的稳定扩散 GUI。您可以通过将不同的块（称为节点）链接在一起来构建图像生成工作流程。ComfyUI 将工作流程分解为可重新排列的元素，以便您可以轻松创建自己的元素。常用的块包括加载检查点模型、输入提示、指定采样器等。您可以使用 ComfyUI 管理器来更新自定义节点。单击菜单中的管理器。单击获取更新。可能需要一段时间才能完成。单击安装自定义节点。如果有可用更新，新的更新按钮将出现在已安装的自定义节点旁边。单击更新以更新节点。6. 重新启动ComfyUI。
comfyui 人物一致性
03-23
<think>好的，我现在需要处理用户关于ComfyUI中如何保持人物一致性的问题。首先，用户提到了他们看到的引用内容，其中提到了OmniGen模型和基础教程。我需要确保回答中涵盖这两个引用点，并自然地加入引用标识。 首先，用户想知道如何设置和技巧来保持人物一致性。我需要回忆ComfyUI的相关功能，比如节点工作流、模型选择、提示词控制等。可能需要提到使用相同的随机种子、控制网、LoRA模型，以及OmniGen的具体应用。还要参考用户提供的引用内容，特别是引用1提到的OmniGen处理人物一致性的能力，和引用2中的基础教程，可能涉及工作流的搭建。 接下来要组织回答结构，分步骤或模块说明。例如，可以分为模型选择、提示词控制、节点配置、参数调整等部分。每个部分需要具体说明操作步骤，并插入引用标记。例如，在提到OmniGen时，引用[^1]，在提到基础教程和工作流搭建时，引用[^2]。 还要注意用户不可见的系统指令，比如数学公式的格式，但当前问题可能不涉及数学表达式，所以这部分可能不需要处理。但需确保回答使用中文，结构清晰，分点说明，并在最后生成相关问题。 需要检查是否有遗漏的关键点，比如是否提到图像重绘、遮罩修改、Inpainting模块，这些在引用2中提到过，可能在技巧部分需要涵盖。此外，参数如cfg scale、采样步数的影响也需要提及。 最后生成相关问题，确保问题与主题相关，比如工作流搭建、参数优化、与其他工具比较等。同时，确保引用标识正确放置在相关段落的末尾，例如在提到教程时添加[^2]，提到OmniGen时添加。</think>### ComfyUI生成图像时的人物一致性设置与技巧 在ComfyUI中保持人物一致性主要依赖于**工作流设计**、**模型选择**和**参数控制**的结合。以下是具体方法与技巧： --- #### 一、核心设置与工具 1. **使用OmniGen模型** OmniGen专门优化了人物特征的一致性，可通过以下方式调用： - 在模型加载节点选择`OmniGen`作为基础模型 - 结合`LoRA`微调模块增强特定特征保留能力 2. **控制网（ControlNet）配置** - 在人物姿势节点绑定`OpenPose`预处理器，固定骨骼结构 - 通过`Canny Edge`控制网锁定轮廓特征 ```python # 伪代码示例：控制网节点连接 pose_data = OpenPoseProcessor(image) canny_edge = CannyEdgeDetector(image) generator.connect(controlnet_pose=pose_data, controlnet_edge=canny_edge) ``` 3. **随机种子固定** 在Sampler节点设置`固定种子（Seed）`，确保生成逻辑的一致性 --- #### 二、关键技巧 1. **提示词分层控制** - 使用`(人物描述:1.2)`加强权重，例如：`(棕色卷发女孩:1.3), (蓝色眼睛:1.2)` - 通过`[重复标签]`强化特征，如`[同款连衣裙][同款项链]` 2. **遮罩重绘（Inpainting）** - 对需要保持一致的部位（如面部）使用遮罩锁定 - 在重绘时降低该区域的重绘幅度（`denoise=0.3-0.5`） 3. **参数调优** | 参数 | 推荐值 | 作用 | |---------------|------------|--------------------------| | cfg_scale | 7-9 | 控制提示词遵循程度 | | steps | 25-35 | 保证细节稳定性 | | denoising | 0.6-0.7 | 平衡创新与一致性 | --- #### 三、进阶工作流设计 1. **人物模板迭代** 将首张满意输出作为`Reference Image`输入到Image Loader节点，后续生成通过`CLIP Vision`编码器提取特征 2. **多模型融合** ```mermaid graph LR A[OmniGen基础模型] --> B(LoRA特征适配器) B --> C{ControlNet姿势控制器} C --> D[最终输出] ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值