阿里开源AI工具——MimicBrush：一键搞定局部替换！

喜大普奔！再也不用熬夜修图了！

今天小元老师给大家介绍一款由阿里巴巴和香港大学一起研发的——MimicBrush新技术，它可以通过模仿参考图像，对目标图像选定区域自动进行局部编辑。

工具效果

它的操作很简单，只需要在原图像上要编辑的区域绘制蒙版，然后给定一张参考图片，就可以把参考图片中的特征提取出来复制到我们的原始图片中。

技术原理

MimicBrush包含两个主要部分"imitative U-Net"和"reference U-Net"，它们之间会进行信息交互，帮助系统定位出参考图像中对应的区域。所以你只需要提供源图像和参考图像，就能实现快速、自动的图像编辑。

MimicBrush这个技术的原理就是运用机器学习，通过不同图片之间的对应关系，学会如何将一些视觉元素从一个图像"移植"到另一个图像上。在训练的时候，它会随机从一段视频里挑选两帧图片，一帧作为"源图"，另一帧作为"参考图"，然后尝试用参考图的信息来补全源图上被遮挡的部分。经过大量训练，它就学会了如何自动找到对应关系，实现图像的"模仿编辑"。

相关链接

论文地址：

https://arxiv.org/abs/2406.07547

代码地址：

https://github.com/ali-vilab/MimicBrush

项目主页：

https://xavierchen34.github.io/MimicBrush-Page

演示地址:

https://huggingface.co/spaces/xichenhku/MimicBrush

 *西安觉醒元宇宙AI，是专注线上AI培训、AI绘画辅导、AI开发服务的专业教育平台！

▍扫描下方二维码进入AI交流学习群，获取超多AI前沿知识！