Step1X-Edit简介
在人工智能图像编辑领域,stepfun-ai 团队研发的 Step1X-Edit 模型凭借突破性技术架构,成功跻身前沿行列。这款模型以可与 GPT-4o、Gemini2 Flash 等闭源技术媲美的性能表现,为开源图像编辑生态注入新活力。
Step1X-Edit 创新地融合多模态大语言模型(LLM),构建了独特的图像编辑系统。通过精准解析参考图像与用户指令,模型将关键信息转化为潜在嵌入,并与扩散图像解码器深度耦合,实现对目标图像的智能生成。为保障训练质量,研发团队自主搭建数据生成管道,从源头上确保数据集的高质量与多样性。
同时,stepfun-ai 团队开发了全新基准测试体系 GEdit-Bench,该平台基于真实用户指令构建测试场景,为图像编辑模型提供更贴近实际应用的评估标准。在 GEdit-Bench 的严格测试中,Step1X-Edit 不仅显著超越现有开源基线模型,更在性能指标上逼近行业领先的专有模型,为学术界与产业界的图像编辑研究提供了极具价值的参考范本。
Step1X-Edit特点:
• 多模态处理:结合参考图像和用户指令进行编辑。
• 高质量数据集:通过数据生成管道创建,确保训练数据的质量。
• GEdit-Bench基准测试:GEdit-Bench 提供了真实世界用户指令的评估框架。
• Apache开源:Apache License 2.0开源协议,便于社区使用和研究。
更多详情信息参见:
• github:https://github.com/stepfun-ai/Step1X-Edit
• 项目主页:https://step1x-edit.github.io/
• 在线体验:https://huggingface.co/spaces/stepfun-ai/Step1X-Edit
Step1X-Edit图像编辑ComfyUI体验
本文使用是RunningHUB平台温总开发的ComfyUI插件体验。代码还在整理中,待开源。原开源项目需要大约48G显存,感谢温总优化,让大家可在消费级显存使用。可优先在RunningHUB平台体验。或使用在线huggingface体验:https://huggingface.co/spaces/stepfun-ai/Step1X-Edit
Step1X-Edit图像编辑ComfyUI工作流
Step1X-Edit图像编辑ComfyUI工作流地址:
• RunningHUB体验:https://www.runninghub.cn/ai-detail/1916484368402157569/?inviteCode=kol01-rh059
注意:
• Step1X-Edit图像编辑效果很强,能够实现图像主体移除、局部修改、风格重绘等多种图像编辑任务。更多详情参加主页:https://step1x-edit.github.io/
• Step1X-Edit图像编辑模型整体偏大,因此所需显存约48G,在线大约需要10分钟耗时。可在线RunningHUB体验:https://www.runninghub.cn/ai-detail/1916484368402157569/?inviteCode=kol01-rh059
• 更多图文和视频ComfyUI工作流参见个人主页:https://www.runninghub.cn/user-center/1890418187312222210?utm_source=kol01-RH059
01.移除主体-人物移除
Remove the person from the image.
02.图像修改-红发
Turn a woman's to red hair
03.风格编辑-吉卜力风格
Modify it to a Ghibli theme
04.图像编辑-局部重绘
Draw an oil painting of a landscape of mountains, waters and a sea of flowers on the white board in the picture
为了帮助大家更好地掌握 ComfyUI,我花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取