星海算力云平台【MimicBrush】部署

一、模型介绍

MimicBrush 功能特点:

1. *零拍摄图像编辑 * 允许用户在没有原始目标图像的情况下进行图像编辑，通过参考仿制的方式实现编辑效果。

1. 参考仿制 : 使用参考图像来指导编辑过程，使用户能够实现所需的图像编辑效果。

1. 文本到图像对齐 : 利用 CLIP 编码器和 VAE 实现文本到图像的对齐，从而实现文本描述到图像编辑的功能。

1. 图像深度预测 : 使用深度模型进行图像深度的预测，以支持更加准确的编辑效果。

1. 纹理转移 * 提供了纹理转移功能，使用户能够在编辑过程中保持原始形状或进行形状转移。

二、本地部署

1、克隆项目文件

1.1克隆MimicBrush项目至实例中

成功创建实例后进入jupyter界面打开终端界面输入以下命令

Plain Text git clone https://github.com/ali-vilab/MimicBrush.git

1.2 创建虚拟环境并激活

移至项目目录(cd MimicBrush)下后使用以下命令创建虚拟环境

Plain Text conda env create -f environment.yaml

在命令运行后由于网络影响需稍等一段时间，可开启学术加速，参考学术加速

安装完毕后激活虚拟环境，使用如下命令

Plain Text conda activate mimicbrush

1.3下载模型并配置权重路径

选择并创建python文件，将如下代码复制粘贴至该文件内并保存任意名字（例如dwload）

Python from modelscope.hub.snapshot_download import snapshot_download as ms_snapshot_download sd_dir = ms_snapshot_download('xichen/cleansd', cache_dir='./modelscope') print('=== Pretrained SD weights downloaded ===') model_dir = ms_snapshot_download('xichen/MimicBrush', cache_dir='./modelscope') print('=== MimicBrush weights downloaded ===')

安装modelscope库pip install modelscope后运行该文件

Python Python dwload.py

此时模型下载好后已在当前目录下新建一个文件夹modelscope，模型存在此处

进入MimicBrush/configs文件夹并双击打开配置文件inference.yaml

此时将下载好的文件夹中的文件路径负责粘贴至此处即可

2、启动并进入web界面配置

在项目文件根目录下运行指令

Python python run_gradio3_demo.py

出现此界面后代表运行成功圈出ip代表本地访问网址，但此时由于在云端需要使用SSH隧道方可访问，详见SSH隧道

进入后左图为原图，右图为替换的素材，将需要替换的部分涂抹上后点击run即可替换

替换后图片

 替换后的图片