Sketch-gen模型部署教程

一、介绍

SketchGen: 一种图像转草图工具，主要用于制作合成数据集或生成参考图。它能够帮助研究人员和开发者快速地从真实图像中提取出线稿轮廓，这对于计算机视觉任务如物体识别、场景理解等非常有用。通过使用这种工具，可以更方便地创建训练数据集，尤其是在需要大量标注数据的情况下。

PaintsUndo：本身是一个数字绘画中的绘画行为基础模型，它可以模拟和分析数字绘画过程中的动作，从而实现对绘画层的分离和重建等功能。SketchGen 则是在此基础上进一步发展，专注于从图像中提取轮廓线条，生成草图。

• 原始仓库：https://github.com/lllyasviel/Paints-UNDO
• 原始项目页面：https://lllyasviel.github.io/pages/paints_undo/
• 基于 PaintsUndo 构建。

二、特点

1. 图像到草图转换 ：自动将彩色图像转换为清晰的线稿草图。
2. 高质量输出 ：生成的草图质量高，细节保留良好。
3. 易于集成 ：可以轻松集成到现有的数据处理流程中。
4. 数据增强 ：适用于创建多样化的合成数据集，增强机器学习模型的泛化能力。

三、部署流程

1. 环境要求

• CUDA: 12.1
• PyTorch：2.1.0

2. 克隆

git clone -b sketch-gen https://github.com/KohakuBlueleaf/Paints-UNDO Sketch-Gen
cd Sketch-Gen

3. 创建虚拟环境

conda create -n sketch-gen python=3.8
conda activate sketch-gen

4. 下载依赖

pip install xformers
pip install -r requirements.txt

推荐使用镜像源-i https://pypi.tuna.tsinghua.edu.cn/simple

5. 运行

python app.py

四、网页演示