【ComfyUI革新】Step1X-Edit开源图像编辑器:语音指令驱动多任务处理,打造GPT-4O平替新标杆!

img

Step1X-Edit简介

在人工智能图像编辑领域,stepfun-ai 团队研发的 Step1X-Edit 模型凭借突破性技术架构,成功跻身前沿行列。这款模型以可与 GPT-4o、Gemini2 Flash 等闭源技术媲美的性能表现,为开源图像编辑生态注入新活力。​
Step1X-Edit 创新地融合多模态大语言模型(LLM),构建了独特的图像编辑系统。通过精准解析参考图像与用户指令,模型将关键信息转化为潜在嵌入,并与扩散图像解码器深度耦合,实现对目标图像的智能生成。为保障训练质量,研发团队自主搭建数据生成管道,从源头上确保数据集的高质量与多样性。​
同时,stepfun-ai 团队开发了全新基准测试体系 GEdit-Bench,该平台基于真实用户指令构建测试场景,为图像编辑模型提供更贴近实际应用的评估标准。在 GEdit-Bench 的严格测试中,Step1X-Edit 不仅显著超越现有开源基线模型,更在性能指标上逼近行业领先的专有模型,为学术界与产业界的图像编辑研究提供了极具价值的参考范本。​

Step1X-Edit特点

多模态处理:结合参考图像和用户指令进行编辑。

高质量数据集:通过数据生成管道创建,确保训练数据的质量。

GEdit-Bench基准测试GEdit-Bench 提供了真实世界用户指令的评估框架。

Apache开源Apache License 2.0开源协议,便于社区使用和研究。

results

更多详情信息参见:

github:https://github.com/stepfun-ai/Step1X-Edit

项目主页:https://step1x-edit.github.io/

在线体验:https://huggingface.co/spaces/stepfun-ai/Step1X-Edit

Step1X-Edit图像编辑ComfyUI体验

本文使用是RunningHUB平台温总开发的ComfyUI插件体验。代码还在整理中,待开源。原开源项目需要大约48G显存,感谢温总优化,让大家可在消费级显存使用。可优先在RunningHUB平台体验。或使用在线huggingface体验:https://huggingface.co/spaces/stepfun-ai/Step1X-Edit

img

Step1X-Edit图像编辑ComfyUI工作流

Step1X-Edit图像编辑ComfyUI工作流地址:

RunningHUB体验:https://www.runninghub.cn/ai-detail/1916484368402157569/?inviteCode=kol01-rh059

img

注意

Step1X-Edit图像编辑效果很强,能够实现图像主体移除、局部修改、风格重绘等多种图像编辑任务。更多详情参加主页:https://step1x-edit.github.io/

Step1X-Edit图像编辑模型整体偏大,因此所需显存约48G,在线大约需要10分钟耗时。可在线RunningHUB体验:https://www.runninghub.cn/ai-detail/1916484368402157569/?inviteCode=kol01-rh059

• 更多图文和视频ComfyUI工作流参见个人主页:https://www.runninghub.cn/user-center/1890418187312222210?utm_source=kol01-RH059

01.移除主体-人物移除

Remove the person from the image.

img

img

02.图像修改-红发

Turn a woman's to  red hair

img

img

03.风格编辑-吉卜力风格

Modify it to a Ghibli theme

img

img

04.图像编辑-局部重绘

Draw an oil painting of a landscape of mountains, waters and a sea of flowers on the white board in the picture

img
为了帮助大家更好地掌握 ComfyUI,我花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

img

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值