[ComfyUI]太赞了！阿里妈妈发布升级版 Flux 图像修复模型，更强细节生成，更高融合度以及更大分辨率支持

于 2024-10-11 11:50:42 发布
阅读量283 收藏 4
点赞数 22
文章标签： AI作画 人工智能 ai绘画 AIGC comfyui
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84760527/article/details/142850164
版权

前言

小伙伴们还记得我们之前介绍的阿里妈妈发布的 Flux 的 ControlNet 图像修复模型不，之前发布的是 Alpha 早期测试版本，说实话和 Flux 原生的重绘其实差距不大，有些方面甚至还是原生的效果更好。

但是现在，Alpha 的升级版本 Beta 版本来了，不仅突破了原先 768 分辨率的限制，可以直接生成和处理 1024 分辨率的图片，而且相比之前，有更好的细节生成和提示词理解以及控制能力，融合度也更高。

反正就是全面升级了。

好了，话不多说，我们直接开整。

模型地址：

https://huggingface.co/alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Beta

模型以及使用到的工作流，听雨也会放在文末的网盘里，需要的小伙伴自取。我们主要使用的工具是 ComfyUI，对 ComfyUI 不了解的小伙伴可以看公众号置顶的两篇文章。

好了，我们先直接来看效果。

先来个简单点的，就重绘一个太阳镜吧。

不知道小伙伴们能不能看清哈，出来原图以外，从左往右依次是 Flux 原生自带的重绘功能，Alpha 早期版本以及 Beta 升级版本。

Flux 原生重绘，如果蒙版部分比较大的话，重绘的部分容易扭曲，无法和整体的构图很好的融合。

Alpha 版本和 Beta 版本重绘上都没啥问题，但是仔细看的话，Beta 版本还可以看到太阳镜在脸上的阴影，细节相当到位。

我们再来重绘一下衣服吧，重绘提示词也很简单：红色衬衫

效果如何，小伙伴们应该一眼就可以看出来吧，原生重绘以后的图片明显构图都有些不自然了。

Alpha 版本的虽然构图上问题不大，但是细节上差些意思；Beta 版本则不管是在构图上还是细节的表达上都相当不错，整体的融合度也很高。

我们再来看看文字的重绘效果，总体来说，在文字的生成上，还是原生的稳定一些，Alpha 就不说了，Beta 版在文字生成上虽然比 Alpha 已经好很多了，但是还是不够稳定。

不过从融合度上来讲的话，还是 Beta 更好一些，原生的只要蒙版范围大一些，和原图的框架就会差异比较明显。

看到官网有一个用例是重绘半边脸，听雨也试了下，原生还是一样的毛病，Alpha 的边界很明显，Beta 基本就看不出来重绘的痕迹了。

好了，演示就到这里了哦，更多的场景小伙伴自己去尝试哈！

工作流其实和 Alpha 版本的工作流是一样的，只需要替换模型就可以了。

绘制重绘区域的蒙版我们上一期也已经介绍过了，这里再讲一下吧，鼠标右键点击上传的图片，然后选择在遮罩编辑器中打开编辑蒙版区域，也就是重绘区域就可以了。

总体来说，Beta 版相对于 Alpha 版本的进步是相当明显的，在融合度、细节以及文字生成上都有很大的进步。

很多场景相比 Flux 原生重绘来说效果也是更加优秀了，Beta 怎么说也还是测试版本，听雨更加期待正式版本的发布了，希望阿里妈妈可以早点推出。

好了，今天的分享就到这里了，感兴趣的小伙伴快去试试吧！

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记
  • …

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇
  • …

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全
  • …

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联
  • …

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势
  • …

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建
  • …

img

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

在这里插入图片描述

img

AI绘画小33
关注
ComfyUI使用Flux模型
培根芝士的专栏
08-31 1520
ComfyUI是一个强大的用户界面，支持多种图像处理和生成模型，而Flux是一系列由Black Forest Labs开发的扩散模型。
ComfyUI - 使用 ComfyUI 部署与测试 FLUX.1 图像生成模型 教程
Mystra
08-15 3049
Flux 是由 Black Forest Labs 推出的最新文本到图像生成模型，已成为 AI 绘画领域的高品质模型。该模型由 Stability AI 的前核心成员开发，具备强大的生成能力和高质量的图像输出。
ComfyUI - 自定义数据集 使用 LoRA 微调 图像生成 Flux 模型 (AI Toolkit)
Mystra
08-28 1770
在 Diffusion 图像生成框架中，使用 LoRA（Low-Rank Adaptation）微调，难点在于，需要精确控制模型参数的更新以避免破坏预训练模型的知识，同时保持生成图像的多样性和质量，这涉及到复杂的优化策略和计算资源的高效利用，以及在保持模型泛化能力的同时实现特定任务的微调，这通常需要大量的实验和调参来找到最佳的低秩矩阵和学习率，以确保模型在特定数据集上的性能提升。
图像生成新模型FLUX1对比Midjourney V6,到底谁更强？多场景实际测试对比
聚梦小课堂
08-04 2523
我们对比下开源版本中效果最好的一个搭配：flux1_dev模型+t5xxl_fp16+clip_l+20步，对比midjourney V6,选几个典型场景，看下生成效果到底如何；
ComfyUI - 在 ComfyUI 中配置 Flux + LoRA 的组合流程优化图像属性
Mystra
08-28 1319
在 Diffusion 图像生成框架中，LoRA (Low-Rank Adaptation) 是用于模型微调的技术，通过在模型的权重矩阵中引入低秩结构来实现。这种方法，可以在不显著增加模型参数数量的情况下，有效地调整和优化模型的行为。具体来说，LoRA 通过在权重矩阵中添加一个小型的低秩矩阵，来调整原有的权重，从而实现对模型的微调。这样做的好处是可以保持模型整体参数量的可控性，同时允许模型在特定任务上进行更精细的调整，提高生成图像的质量和多样性。在 Diffusion 模型中，LoRA 可以应用于条件生成任
【ComfyUI Flux产品写实大模型】绝了！太真实了！只需一句简单的提示词，直出商业写真产品摄影照
2401_84760527的博客
09-06 1145
今天小编给大家带来了一款来自“凉一”大佬的Flux电商产品写实大模型——FLUX简朴归真-电商大模型。该模型适用美妆日用手表食品产品海报，“凉一”大佬用简朴归真来形容这个大模型真的再恰当不过了，结合着Flux这款优质大模型，只需一句简单的提示词，便可以轻松直出商业写真产品摄影照。该款模型的出图质量可以说是很高了，非常适合电商产品使用，详情页与主图、海报KV，可以做出很多渲染创意的场景例如、产品写实场景、产品海报、产品科技场景、产品室内场景等等类型的海报场景都可以轻松驾驭。**模型下载：**
本地部署 Flux.1 最强文生图大模型！Comfyui 一键安装
z19981的博客
08-31 1964
最近，由前StabilityAI员工创立的黑森林实验室推出了开源文生图大模型–FLUX.1横空出世。FLUX.1在文字生成、复杂指令遵循和人手生成上具备优势。以下是其生成图像示例，可以看到即使是生成大段的文字、多个人物，也没有出现字符、人手等细节上的错误。有了SD的经验，可以对FLUX放心使用。话不多说，让我们先上手。一、安装先把ComfyUI升级到最新版。尽管很多网友称16G显卡方能跑的很好，经过实测，12G显卡也能跑的起来，速度并不比SD3慢多少。
AI修手有救了？在comfyui中使用Flux模型实现局部重绘案例
聚梦小课堂
09-18 769
局部重绘相关的话题我们已经讨论和测试过很多次了，比如说inpaint模型、brushnet模型、powerpaint模型等等，最近对于flux模型重绘画面的案例也越来越多了，那我们就结合flux模型的重绘来试试看效果。
Black Forest Labs 的 Flux——文本转图像模型的下一个飞跃，它比 Midjourney 更好吗？
知来者逆的博客
08-13 1494
Black Forest Labs 推出了 FLUX.1 文本转图像模型套件，旨在为图像细节、即时性、风格多样性和场景复杂性树立新的标杆。：旗舰型号，提供顶级的图像生成性能，具有卓越的快速跟踪、视觉质量、图像细节和输出多样性。它可通过 API 获得，定位为专业和企业用途的高级选项。：一种面向非商业应用的开放式指导提炼模型。其设计旨在实现与专业版类似的质量和及时遵守能力，同时效率更高。：套件中速度最快的模型，针对本地开发和个人使用进行了优化。
【ComfyUI】Flux 提示词太难了？你的最爱来了！Flux Prompt 轻松提示增强！更详细、更具描述性！
2401_85725028的博客
09-03 1450
ComfyUI Flux Prompt Enhance Node 它集成了Flux-Prompt-Enhance 模型，通过该节点我们可以借助Flux-Prompt-Enhance 模型来将简单的提示词进行增强，从而将我们输入的简单提示词增强为更详细、更具描述性的自然语言提示词。
flux.rar_flux_磁链_磁链模型_磁链观测
07-15
标题中的“flux.rar”可能指的是一个使用RAR格式压缩的文件，这种格式通常用于打包和压缩多个文件或文件夹。RAR是一种高效的数据压缩算法，由尤金·罗谢尔创造，它允许用户在压缩文件时设置密码保护和恢复记录，以...
Flux生成网红博主因太逼真爆火，背后的模型是什么？
百态老人的博客
08-13 1672
Flux模型基于生成对抗网络（GAN）的原理，通过训练两个相互竞争的网络——生成器和判别器来生成逼真的图像。生成器的目标是创建逼真的图像，而判别器则尝试区分真实图像与生成图像。随着训练的进行，生成器逐渐学会产生越来越难以区分的图像。
图像生成模型升级了？
百态老人的博客
08-05 826
这种开源策略极大地促进了社区的参与和创新，使得更多的研究人员和企业能够在FLUX.1的基础上进行二次开发和优化，从而进一步提升模型的性能和应用范围。这些版本分别针对不同的应用场景进行了优化，确保了广泛的适用性和灵活性。FLUX.1模型采用了多模态架构和并行扩散Transformer结构，通过流匹配方法改进了传统的扩散模型，引入了旋转位置嵌入技术和并行注意力层，以增强模型的性能和硬件效率。FLUX.1作为一款开源的AI图像生成模型，对图像生成领域产生了显著的影响，并且其开源策略对行业未来具有深远的潜在影响。
如何用AI绘画工具生成中国风插画？Midjourney保持风格一致出图
玩AI的小胡子-博客
10-06 1237
要注意的是，sref 参数并不是“照搬”参考图的风格，而是将参考图的风格元素部分融入到新生成的图像中。，生成符合我们特定要求的艺术作品是一门精进的技巧，尤其当你想生成具有鲜明特色的国风插画时，纯文本提示词的局限性常常使我们难以达到预期效果。/imagine 古装美女飞在天空，白色祥云环绕，背景是成排的中国古建筑，广角构图，中国风插画，深绿色与橙红色配色 --sref 复制的图片链接（记得翻译成英文）此时，Midjourney将参考你提供的图像风格，在保留提示词描述内容的基础上，生成更符合国风审美的插画。
AI智能聊天问答系统源码+AI绘画系统+图文搭建部署教程，文生图图生图，TTS语音识别输入，AI智能体，文档分析
只恨天高的博客
10-10 1287
SparkAi创作系统是一款基于ChatGPT和Midjourney开发的智能问答与绘画平台，旨在为B端和C端用户提供一站式AI解决方案。系统集成了AI大模型问答、AI绘画、专业级AI视频生成、文档分析、多模态图像理解、TTS语音合成与语音识别、AI换脸等功能。支持AI智能体应用（包括GPTs和Prompt自定义预设），以及插件扩展、AI音乐生成等多种服务。该系统兼容所有OpenAI-GPT模型和国内主流AI模型，具备GPT-4大模型支持、联网问答、DALL-E 3文本生成图像、思维导图、会员套餐、分销系统
AI绘画工具
weixin_40566713的博客
10-05 602
2024年8月29日，AI绘画工具Midjourney在社交平台X宣布，公司正式涉足硬件领域，并为位于旧金山的新团队发布人才招募信息。作为国内第一批入局生成式人工智能的初创AI项目，凭借自主研发的算法和底层引擎，为用户提供“文本生成图像”服务。2022年9月29日消息，OpenAI 已经取消了访问其文本生成图像系统 DALL-E 2 的等待名单，这意味着任何人都可以立即注册使用这个人工智能艺术生成器。定位为面向有设计需求和创意的人群，基于文心大模型智能生成多样化AI创意图片，辅助创意设计，打破创意瓶颈。
AI绘画，AI生成图片
p_s_p的博客
10-10 306
分享一个可以免费使用的AI生成图片的网站 AI绘画
AI绘画入门：Midjourney与Stable Diffusion工具大比拼
最新发布
qq_21955513的博客
10-10 130
今天给大家讲下两款主流的AI绘画工具，Midjourney和Stable Diffusion的区别~想学AI绘画，先要搞清楚用什么工具，否则白学半天得不偿失!SD:要用电脑，对显卡要求高，但精准控制，细节控狠狠爱住。MJ:随时随地，有网和魔法，手机，电脑都行。SD:需要安装或者远程部署(实战课会提供)。综上，两款软件各有优劣，大家可以按需选择。MJ:画风多变，出图速度快，创造性强。更多精彩内容及教程请移步原文进行查看~SD:精细控制，线稿上色，精准无误。MJ:月费10刀+，不同档次可选。
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
阿利同学的博客
10-07 1213
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
comfyui flux 搭建
09-30
ComfyUI Flux 是一个基于 Vue.js 的状态管理库，它结合了 Flunt 和Vuex 的设计理念，提供了一种简单而直观的方式来处理应用的状态管理和组件之间的数据流。Flux 风格的设计允许你在单向数据流中更清晰地组织应用程序的状态变化，这对于大型和复杂的前端项目尤其有益。 以下是使用 ComfyUI Flux 构建项目的步骤： 1. **安装依赖**：首先，你需要安装 Vue、Vue Router 和 ComfyUI 的基础库，以及 ComfyUI Flux。你可以通过 npm 或 yarn 进行安装： ```bash npm install vue @vue/cli-router @comfy/ui @comfy/ui-flux ``` 2. **创建应用结构**：按照 Vue CLI 的引导，创建一个新项目，并设置好目录结构，通常会有一个 `store` 文件夹用于存放状态管理相关的文件。 3. **配置 store**：在 `store/index.js` 中，导入并配置 Flux 实例，例如使用 `createStore` 函数： ```javascript import { createStore } from '@comfy/ui-flux' const store = createStore() export default store ``` 4. **创建 actions**：在 `actions` 目录下，编写处理业务逻辑的函数，比如 `incrementCounter`。 5. **创建 mutations**：在 `mutations` 目录下，定义如何更新状态，如响应 action 的执行结果。 6. **使用 store 在 components**：在组件里通过 `useStore` hook 访问和监听 store，例如： ```vue <template> <button @click="increment">Increment</button> <p>Count: {{ count }}</p> </template> <script> import { useStore } from '@comfy/ui-flux' export default { setup() { const { state: { count }, dispatch } = useStore() function increment() { dispatch('INCREMENT') } return { count, increment } } } </script> ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值