最近在GitHub爆火的MimicBrush图像编辑工具,让普通用户也能轻松实现专业级修图效果。无需Photoshop复杂操作,不用原图就能完成服装替换、场景重构等神奇操作。今天手把手教你在本地快速部署,文末还有免费GPU算力领取攻略!
一、模型介绍
由阿里巴巴、香港大学与蚂蚁集团联合研发的MimicBrush,正在重新定义智能图像编辑的边界。这项突破性技术通过自监督学习框架和双扩散UNets架构,实现了"零样本"的创意图像融合——无需任何原图数据,只需在现有图片上圈选区域并上传参考素材,AI就能自动解析语义关系,将梵高笔触融入摄影作品,或将秀场新款"穿"到电商模特身上。其独创的基准测试体系已在影视特效、产品设计等领域验证了可靠性,开发者只需简单涂抹即可完成过去需要专业团队数小时才能实现的复杂编辑。
二、快速部署指南(Windows/Mac通用)
环境准备建议
推荐使用云GPU实例获得最佳体验(星海智算-GPU算力云平台,新用户赠50元算力金)。若本地部署需满足:
-
NVIDIA显卡(GTX 1060 6G起步)
-
Python 3.8+
-
磁盘空间≥15GB
1 克隆项目文件
1.1 克隆MimicBrush项目至实例中(创建基础Ubuntu镜像)
git clone https://github.com/ali-vilab/MimicBrush.git
1.2 创建虚拟环境并激活
移至项目目录(cd MimicBrush)下后使用以下命令创建虚拟环境
conda env create -f environment.yaml
在命令运行后由于网络影响需稍等一段时间,可开启学术加速,参考学术加速
安装完毕后激活虚拟环境,使用如下命令
conda activate mimicbrush
1.3下载模型并配置权重路径
选择并创建python文件,将如下代码复制粘贴至该文件内并保存任意名字(例如dwload)
from modelscope.hub.snapshot_download import snapshot_download as ms_snapshot_download
sd_dir = ms_snapshot_download('xichen/cleansd', cache_dir='./modelscope')
print('=== Pretrained SD weights downloaded ===')
model_dir = ms_snapshot_download('xichen/MimicBrush', cache_dir='./modelscope')
print('=== MimicBrush weights downloaded ===')
安装modelscope库pip install modelscope后运行该文件
Python dwload.py
此时模型下载好后已在当前目录下新建一个文件夹modelscope,模型存在此处
进入MimicBrush/configs
文件夹并双击打开配置文件inference.yaml
此时将下载好的文件夹中的文件路径负责粘贴至此处即可
2 启动并进入web界面配置
在项目文件根目录下运行指令
Python
python run_gradio3_demo.py
出现此界面后代表运行成功圈出ip代表本地访问网址,但此时由于在云端需要使用SSH隧道方可访问,详见SSH隧道
进入后左图为原图,右图为替换的素材,将需要替换的部分涂抹上后点击run即可替换