ComfyUI工作流- Flux大模型《黑神话悟空》角色生成（附Lora）

已于 2024-12-31 16:07:46 修改
阅读量1.6k 收藏 28
点赞数 20
文章标签： stable diffusion AIGC 人工智能
于 2024-08-22 10:22:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84760322/article/details/141421377
版权

前言

是什么让悟空开始搬砖，这莫不是新的副本

其实我们用AI就能生成这种黑神话悟空的衍生图片

让悟空做ceo，做老师，上工地搬砖

七十二变，体验人生百态

操作很简单，只需要一个comfyUI工作流，你就能任意生成黑神话悟空的不同职业图片

前期准备：

确保ComfyUI和Flux大模型已部署

首先，需要确保你的ComfyUI已经部署好了Flux大模型。如果尚未部署，可以参考之前的相关教程进行配置。

部署Flux大模型是生成高质量《黑神话悟空》衍生图片的基础。

工作流与lora下载

所有的AI设计工具，模型和插件，都已经整理好了，👇获取~在这里插入图片描述

加载工作流与LoRA

接下来，打开ComfyUI并加载提供的《黑神话悟空》文生图工作流。这是生成悟空各种职业形象的关键步骤。具体操作步骤如下：

**打开ComfyUI：**启动ComfyUI，确保软件运行正常。

**加载工作流文件：**将提供的工作流文件拖拽到ComfyUI中。你可以通过“加载”选项选择相应的工作流文件。

**加载LoRA文件：**将黑悟空的LoRA文件（用于调节风格）加载到ComfyUI中。LoRA文件的路径通常与工作流文件一起提供，确保将其放置在ComfyUI的指定文件夹中。

设置LoRA强度与其他参数

在生成图片前，需要对LoRA的强度和其他参数进行适当调整。根据经验，将LoRA的强度设置为1.2左右是比较合适的，能够有效地保持悟空形象的同时，又能灵活变化出不同的职业形象。

**LoRA强度设置：**打开ComfyUI的参数设置界面，将LoRA强度调整为1.2。这一设置可以根据个人偏好适当调整，但建议不低于1.0以确保图像风格的连贯性。

**其他参数：**建议使用工作流中的默认参数设置，这些参数已经过调试，能生成最佳效果的悟空形象。如果需要进行细节上的微调，可以根据实际需求调整分辨率、步数等参数。

输入提示词：

让悟空化身为你想要的职业角色

提示词（Prompt）是生成图像的关键，通过准确描述你想要的场景和职业，可以生成你心中理想的悟空形象。以下是一些提示词的示例，帮助你开始创作：

医生悟空：

提示词：孙悟空穿着白大褂成为一个医生，在医院，鼻子上戴着一副金框眼镜。

CEO悟空：

提示词：孙悟空穿着西装，坐在办公桌后面，像个大公司的CEO。

工地搬砖悟空：

提示词：孙悟空穿着工地制服，拿着砖块，在工地上工作，背景是建筑工地。

这些提示词可以根据具体需求灵活调整。值得注意的是，提示词越详细，生成的图像越贴近你所设想的场景。

生成图片：等待与调整

输入提示词后，点击生成按钮。生成过程的快慢取决于电脑配置，特别是显卡的性能。

配置基本要求：内存32g+显存16g

如果生成速度较慢，可以尝试减少分辨率或步数来加快处理。

在生成过程中，可能会遇到一些不如意的细节，这时可以通过调整提示词或LoRA强度来优化结果。不断尝试和调整，最终你会得到满意的悟空职业形象。

创意扩展：多种职业与场景组合

当你掌握了基本操作后，可以尝试更多的职业和场景组合，创造出更加丰富的悟空形象。比如：

老师悟空：

提示词：孙悟空穿着西装，站在黑板前面，手里拿着教鞭，像个严肃的老师。

厨师悟空：

提示词：孙悟空穿着厨师服，在厨房里忙碌地烹饪，锅里冒着热气。

通过这些提示词的组合，可以无限扩展《黑神话悟空》的形象，打造出属于你自己的悟空世界。

输出与分享：展示你的创意作品

生成满意的图片后，可以将其保存并分享给朋友或在社交平台上展示。通过不同的LoRA设置和提示词组合，每个人都可以创作出独一无二的《黑神话悟空》衍生作品。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记
  • …

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇
  • …

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全
  • …

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联
  • …

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势
  • …

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建
  • …

img

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

在这里插入图片描述

img

ComfyUI | FLUX-ControlNet，FLUX-LoRA和FLUX-IPAdapter等工作流【附下载】
Vampire_2017的博客
11-03 1982
FLUX.1是由Black Forest Labs研发的前沿AI模型，它正在重塑我们依据文本描述创建图像的模式。FLUX.1能够生成与输入提示高度契合的图像，这些图像细节惊人、复杂精妙，从而使其在众多模型中脱颖而出。FLUX.1成功的奥秘在于其独特的混合架构，这种架构融合了不同类型的Transforms，并且有多达120亿的参数作为强大支撑。这一架构使得FLUX.1不仅能够生成视觉上极具吸引力的图像，还能以令人惊叹的精准度对文本描述进行准确呈现。
ComfyUI-PuLID-Flux-Enhanced中的train_weights优化
liguandong
12-03 235
假设有一个real id embeddding，理想的表达了id特征，使用该embedding，可以获得最佳的id保真度。虽然我们使用选定的样本作为目标，但训练后的权重不会完美的指向目标，如果是这样，只需要使用选定的权重，无需训练。注意观察到pulid多了训练模块，但是pulid本身也没有什么问题，主要的问题还是在和lora结合时产生的一些变化，他会改变lora的一些风格特征。train_weights，可以用小于2000步进行训练，从而实现比非训练更深的融合，过多的训练步骤会导致训练崩溃。
免费部署Flux.1模型，搭载ComfyUI配置与评测
飞月程序人生
08-16 2869
免费部署最新AI绘画开源新模型FLUX.1，搭载comfyUI工作流，效果非常惊艳。关键是可以免费无限使用。
comfyUI工作流-Flux大模型应用/黑神话悟空角色生成（附lora）
玩AI的小胡子-博客
08-21 908
根据经验，将LoRA的强度设置为1.2左右是比较合适的，能够有效地保持悟空形象的同时，又能灵活变化出不同的职业形象。提示词（Prompt）是生成图像的关键，通过准确描述你想要的场景和职业，可以生成你心中理想的悟空形象。值得注意的是，提示词越详细，生成的图像越贴近你所设想的场景。当你掌握了基本操作后，可以尝试更多的职业和场景组合，创造出更加丰富的悟空形象。通过这些提示词的组合，可以无限扩展《黑神话悟空》的形象，打造出属于你自己的悟空世界。提示词：孙悟空穿着西装，站在黑板前面，手里拿着教鞭，像个严肃的老师。
wukong-minimap：为《黑神话：悟空》玩家提供实时地图导航
最新发布
gitblog_00124的博客
04-01 692
wukong-minimap：为《黑神话：悟空》玩家提供实时地图导航 wukong-minimap 黑神话内置实时地图 / Black Myth: Wukong Built-in real-time map 项目地址: https...
ComfyUI - 在 ComfyUI 中配置 Flux + LoRA 的组合流程优化图像属性
AGI
08-28 4272
在 Diffusion 图像生成框架中，LoRA (Low-Rank Adaptation) 是用于模型微调的技术，通过在模型的权重矩阵中引入低秩结构来实现。这种方法，可以在不显著增加模型参数数量的情况下，有效地调整和优化模型的行为。具体来说，LoRA 通过在权重矩阵中添加一个小型的低秩矩阵，来调整原有的权重，从而实现对模型的微调。这样做的好处是可以保持模型整体参数量的可控性，同时允许模型在特定任务上进行更精细的调整，提高生成图像的质量和多样性。在 Diffusion 模型中，LoRA 可以应用于条件生成任
[ComfyUI]Flux新纪元：Flux第一个写实LORA和CN模型诞生，Flux生态新纪元
2401_85725028的博客
08-09 1240
在Flux刚开源不到一周时间，官方团队再次发布Flux dev模型的LORA模型和ControlNet模型微调代码，这将标志着这款惊艳文生图模型生态的开始，Flux生态的新纪元始点。flux-RealismLora写实模型和 Flux ControlNet模型：。（需要的同学可以自行扫描获取）
Flux-ComfyUI系列四｜lora炼丹+ComfyUI工作流
m0_56144365的博客
01-13 2009
（全套教程文末领取哈）
ComfyUI自动去水印工作流
01-09
技术方案：Florence2Run+lama Remover+Flux增强效果 功能：一键执行，AI自动识别图片上的文字、水印、Logo
ComfyUI工作流 使用FLUX进行图像缩放
Mr数据杨
12-20 540
FLUX 图像缩放工作流采用了多节点协作的方式，从图像加载开始，经过分辨率调整、细节采样、潜变量生成和解码生成等流程，将输入的图像放大为高分辨率输出。通过引入条件控制与噪声生成模块，能够对图像的细节进行增强优化，同时保证放大的图像清晰且自然，适用于需要高质量图像的各种场景。该工作流使用 FLUX 模型提供的图像处理能力，专注于高质量图像缩放操作。工作流整合了多种节点处理模块，包括图像加载、噪声生成、采样器配置、条件控制和结果对比等，确保在放大后的图像中保持清晰度和自然效果，同时适应多种应用场景。
基于Pulid-Flux一致性换脸工作流
10-04
在当前的多媒体处理领域中，"基于Pulid-Flux一致性换脸工作流"已经成为一个技术热点。它涉及到的领域包括图像处理、深度学习、计算机视觉等，实现的核心目标是将一个人的脸部特征在不影响整体视频质量的前提下，准确...
AI绘画，用 ComfyUI一步一步搭建Flux基础工作流，ComfyUI基础教程
weixin_55154866的博客
01-13 4289
一、先说下 ComfyUI的几种方法1、从节点库查找节点点击工作办面左侧的”节点库“可以查看节点，鼠标放在节点名字上时，右侧还有节点样式的预览。2、工作区空白处右击，新建节点在鼠标右击的菜单里，根据节点的分类，也可以很快的找到相应的节点。2、工作区空白处双击，查找节点在工作区空白处鼠标双击，可以调出一个搜索框，你只要输入节点的名字，就可以快速根据关键词查找节点。如果你的 ComfyUI 不支持中文查找节点，记得在设置里将语言设置为中文。
Flux【基础篇】：ComfyUI Flux.1工作流的本地部署安装教程
热门推荐
小王的储物间
08-19 1万+
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。好了，今天的分享就到这里了，希望今天分享的内容对大家有所帮助。
Flux【Lora模型】：效率太高了，超写实逼真黑悟空Flux Lora它来了
2401_85725028的博客
08-23 1368
最近两天，可以说《黑神话：悟空》真的是太火了。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。：一个穿着盔甲、留着胡子的男人，在一个舒适的图书馆里，他的脸被一盏阅读灯的柔和光线照亮，全神贯注地读着一本古老的大部头，周围是充满智慧的书架。**提示词：**在球场中央，一名身穿盔甲、蓄着胡子的男子，一脸坚定，向球门踢出了一脚有力的射门，背景是体育场的轰鸣，夕阳洒下了金色的光芒。
ComfyUI工作流来了，6G显存可用的FLUX量化模型
2401_84760527的博客
08-15 5211
前一段时间，SD原班人马离职后，开发出来FLUX，然后将其中两个大模型开源。和SD3相比，FLUX对提示词的理解更到位，画质更精美，尤其是画手方面，和MJ不相上下。在提示词相同的情况下，FLUX完全可以和MJ一较高低。不过，FLUX对硬件配置的要求比较高，量化版本要12G显存（实测8G也可）起步。且速度比较慢，这给很多小显存用户带来了困扰。并且直至现在，WebUI还没有对FLUX的支持，只能在较为专业的ComfyUI上玩。
ComfyUI - 自定义数据集 使用 LoRA 微调 图像生成 Flux 模型 (AI Toolkit)
AGI
08-28 3744
在 Diffusion 图像生成框架中，使用 LoRA（Low-Rank Adaptation）微调，难点在于，需要精确控制模型参数的更新以避免破坏预训练模型的知识，同时保持生成图像的多样性和质量，这涉及到复杂的优化策略和计算资源的高效利用，以及在保持模型泛化能力的同时实现特定任务的微调，这通常需要大量的实验和调参来找到最佳的低秩矩阵和学习率，以确保模型在特定数据集上的性能提升。
Stable Diffusion 4.8.7升级版更新，Ai绘画风口已来！（无需部署，解压即用）
weixin_55154866的博客
05-30 1118
2024可以称得上是Ai技术大爆发的元年，目前两款Ai神器大火，一款是大名鼎鼎的Chat GPT。 另外一款大火的是本期社长介绍的Ai绘图软件—Stable Diffusion。
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 5152
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
AI绘画-黑神话悟空【Lora模型】：超写实逼真黑悟空Flux Lora它来了！一键直出超写实的悟空图片！
白帽阿叁的博客
08-23 1411
最近两天，可以说《黑神话：悟空》真的是太火了。在大家热心谈论黑悟空的时候，AI绘画领域也不甘落后，结合最近火爆的AI绘画工具Flux模型，各路大神第一时间就训练出了Flux的Lora版本，今天我们就来体验感受一下大神最新推出的Flux版本的Lora模型：FLUX1-超写实逼真黑悟空
comfyui flux工作流分享
02-26
### ComfyUI Flux 工作流概述 ComfyUI 是一款用于简化图像处理流程的应用程序，特别适用于那些希望减少 AI 图像生成过程中人工痕迹的人士。通过使用 ComfyUI 的 Flux 模型，可以实现更自然、更具艺术感的效果[^2]。 ### 加载工作流文件的方法 要启动并运行一个 Flux 工作流，在 ComfyUI 中可以通过简单的拖放操作来加载所需的工作流文件；另一种方式则是利用界面中的“加载”功能按钮来进行选择和导入特定的工作流配置文件[^1]。 ### 创建自定义 Flux 工作流实例 下面是一个创建基本 Flux 工作流的例子： #### 步骤说明转换为具体操作指南 假设目标是从一张输入图片出发，经过一系列预设好的处理步骤最终得到优化后的输出成果。这期间会涉及到多个节点间的交互协作完成整个任务链路的设计与构建过程。 ```python from comfyui import Workflow, Node # 初始化一个新的工作流对象 workflow = Workflow() # 添加读取原始图像作为起点的节点 input_node = workflow.add_node(Node('InputImage')) # 定义中间处理阶段所使用的算法模块（比如风格迁移） style_transfer_node = workflow.add_node(Node('StyleTransfer'), inputs=[input_node]) # 设置保存最终结果至本地磁盘上的终点位置 output_node = workflow.add_node(Node('SaveOutput', params={'path': './result.png'}), inputs=[style_transfer_node]) ``` 这段代码展示了如何建立一个简易版的 Flux 流水线结构——从获取初始素材开始直到最后一步将修改过的版本存储下来为止的一系列动作序列化描述。 ### 获取更多学习资料和支持渠道 对于想要深入了解 ComfyUI 及其 Flux 功能特性的用户来说，除了官方文档外还可以关注一些第三方平台如 揽睿星舟 ，这里提供了 SD WebUI、ComfyUI 等多种工具的一键部署服务以及社区交流机会，有助于加速新手上手速度并解决实际遇到的技术难题[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值