AI绘画-ComfyUI｜重新定义局部重绘，让P图变得超简单！

本文链接：https://blog.csdn.net/xiaokangss/article/details/142819624

在数字化时代，图像编辑已成为创作表达的重要手段。但你是否曾在编辑图片时感到束手无策，因为不知道如何描述你想要的效果？现在，一项新的技术：MimicBrush，正为图像编辑带来不一样的体验。

01.介绍

MimicBrush是由阿里巴巴、中国香港大学和蚂蚁集团的研究人员共同推出的AI图像编辑融合框架。该技术通过先进的AI技术，能够将一张图片的某一部分融合到另一张图片上，实现零样本图像编辑。用户只需提供一张参考图像，并在源图像上指定需要编辑的区域，MimicBrush便能自动识别并模仿参考图像中的视觉元素，将其应用到源图像中。

**MimicBrush的核心特点包括模仿式编辑、自动化编辑、零阶编辑和基于扩散先验模型等。它不仅适用于电商商品展示、图片编辑和内容迁移等多个领域，还具有广泛的应用前景。**此外，MimicBrush的开发团队来自中国香港大学、阿里巴巴集团和蚂蚁集团，确保了其技术的先进性和实用性。

MimicBrush是一款创新的AI图像编辑工具，通过简单的操作和先进的AI技术，实现了高效且灵活的图像编辑功能。

零样本学习，释放创意潜能

MimicBrush，是一种基于零样本学习的图像编辑技术。它允许用户通过简单的操作——指定要编辑的区域，并提供一张展示期望效果的参考图像——来实现创意编辑。MimicBrush能够自动捕捉源图像和参考图像之间的语义对应关系，以前馈网络的方式完成编辑任务。

自监督学习，智能捕捉对应关系

MimicBrush的核心在于其自监督学习框架。它通过从视频片段中随机选取两帧，对其中一帧的特定区域进行遮罩，然后利用另一帧的信息来恢复这些遮罩区域。这一过程无需额外的文本或跟踪注释，完全依赖于视频数据的一致性和变化性，使得模型能够自我学习并捕捉到不同图像间的对应关系。

双扩散UNets，精细编辑更自然

MimicBrush采用了双扩散UNets结构，分别处理源图像和参考图像。这种结构不仅能够提取图像的深层特征，还能够在编辑过程中保持与源图像背景的自然融合。无论是产品外观设计、角色造型定制，还是特效制作，MimicBrush都能够提供高质量的编辑结果。

构建基准，推动技术发展

为了系统评估MimicBrush的性能，研究人员构建了一个专门的基准测试，包括部分组合和纹理传输两大任务。这一基准不仅为MimicBrush提供了全面的测试平台，也为未来图像编辑技术的发展奠定了基础。

02.体验

MimicBrush技术降低了创意实现的门槛，让每个人都能够轻松地将想象变为现实。随着技术的不断进步，未来的图像编辑将更加智能化、个性化。

（需要MimicBrush-comfyui项目案例的同学可以文末自行扫描获取）

03.部署安装

接下来，我们来实际操作一下，MimicBrush 已经可以在 ComfyUI 中使用了，我们就直接在 ComfyUI 中进行演示吧！

直接在 ComfyUI 管理器中搜索 MimicBrush，第一个就是，安装完成以后重启。

第一次重启完以后可能会报错，没关系，再重启一次就可以了。

加载插件成功会自动下载模型，十几个 G 的样子。

工作流也很简单，主要的节点就一个：MimicBrush Node，直接鼠标左键双击搜索就可以了。

两个加载图像节点，一个节点是需要编辑的图像，一个是参考图像，最右边的节点则是输出图像，预览节点或者保存图像节点都可以。

操作也很简单，鼠标右键点击图片，在弹出的功能框中选择「在遮罩编辑器中打开」。

然后用遮罩工具绘制我们想要编辑的区域，比如这里想给下图中的人物加上两个猫耳朵，那我们就大概的位置绘制两个可以放下猫耳朵的蒙版，也就是下图中的灰色区域。

绘制成功以后，记得保存，点击右下角的「Save to node」。

接着我们上传一张猫咪的图片，MimicBrush 节点就会自动捕捉两者之间的关联关系并生成新的图片。

MimicBrush 可以完美的理解我们的意图，给原图人物加上了两个猫耳朵，毫无违和感有么有！

我们再来看看 MimicBrush 这个节点，迭代步数，权重，随机种子没啥好讲的，不了解的话维持默认即可。

if_keep_shape：在编辑过程中是否保持原来的形状，默认是不保持。

我们分别来看下 false 和 true 的出图效果。

if_keep_shape 为 true 的时候，和原图的构造更接近一些。

完全不用写提示词，只需要把想要修改的区域涂抹成蒙版，然后上传参考图就可以了，相当六有么有！

我们再来试试模特换装可以不？

效果也不差，比起 OOTDiffusion、IDM-VTON 这些专业换装模型而言，感觉也很好了。

还可以修改原图的材质，不过记得这种蒙版比较大的，记得打开 if_keep_shape 开关：true。要不然不知道给你整成啥样了！

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

GPT的定义与概述
GPT与其他AI对比区别
GPT超强记忆力体验
万能GPT如何帮你解决一切问题？
GPT表达方式优化
GPT多类复杂应用场景解读
3步刨根问底获取终极方案
4步提高技巧-GPT高情商沟通
GPT深度玩法应用场景
GPT高级角色扮演-教学老师
GPT高级角色扮演-育儿专家
GPT高级角色扮演-职业顾问
GPT高级角色扮演-专业私人健身教练
GPT高级角色扮演-心理健康顾问
GPT高级角色扮演-程序UX/UI界面开发顾问
GPT高级角色扮演-产品经理
GPT高级技巧-游戏IP角色扮演
GPT高级技巧-文本冒险游戏引导
GPT实操练习-销售行业
GPT实操练习-菜谱推荐
GPT实操练习-美容护肤
GPT实操练习-知识问答
GPT实操练习-语言学习
GPT实操练习-科学减脂
GPT实操练习-情感咨询
GPT实操练习-私人医生
GPT实操练习-语言翻译
GPT实操练习-作业辅导
GPT实操练习-聊天陪伴
GPT实操练习-育儿建议
GPT实操练习-资产配置
GPT实操练习-教学课程编排
GPT实操练习-活动策划
GPT实操练习-法律顾问
GPT实操练习-旅游指南
GPT实操练习-编辑剧本
GPT实操练习-面试招聘
GPT实操练习-宠物护理和训练
GPT实操练习-吸睛爆款标题生成
GPT实操练习-自媒体爆款软件拆解
GPT实操练习-自媒体文章创作
GPT实操练习-高效写作推广方案
GPT实操练习-星座分析
GPT实操练习-原创音乐创作
GPT实操练习-起名/解梦/写诗/写情书/写小说
GPT提升工作效率-Word关键字词提取
GPT提升工作效率-Word翻译实现
GPT提升工作效率-Word自动填写、排版
GPT提升工作效率-Word自动纠错、建议
GPT提升工作效率-Word批量生产优质文章
GPT提升工作效率-Excel自动化实现数据计算、分析
GPT提升工作效率-Excel快速生成、拆分及合并实战
GPT提升工作效率-Excel生成复杂任务实战
GPT提升工作效率-Excel用Chat Excel让效率起飞
GPT提升工作效率–PPT文档内容读取实现
GPT提升工作效率–PPT快速批量调整PPT文档
GPT提升工作效率-文件批量创建、复制、移动等高效操作
GPT提升工作效率-文件遍历、搜索等高效操作
GPT提升工作效率-邮件自动发送
GPT提升工作效率-邮件自动回复
GPT接入QQ与QQ群实战
GPT接入微信与微信群实战
GPT接入QQ与VX多用户访问实战
GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述，AI绘画的应用领域，PAI绘画与传统绘画的区别，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。