Inpaint Anything 安装与配置完全指南

Inpaint Anything 安装与配置完全指南

Inpaint-Anything Inpaint anything using Segment Anything and inpainting models. 项目地址: https://gitcode.com/gh_mirrors/in/Inpaint-Anything

项目基础介绍与编程语言

Inpaint Anything 是一个强大的开源项目，它实现了在图像、视频乃至3D场景中任何物体的无缝修补（inpainting）。用户只需通过点击选择对象，项目结合了Segment Anything (SAM)、LaMa等先进视觉模型，以及如Stable Diffusion的文本到图像生成能力，实现“移除”、“填充”与“替换”等功能。该项目主要采用 Python 编程语言，适配深度学习框架如PyTorch，适合于计算机视觉和机器学习开发者。

关键技术和框架

• Segment Anything (SAM): 一种先进的语义分割模型，能够精确地识别并分割出指定的对象。
• LaMa: 高质量的图像补全模型，擅长填补因物体移除后留下的空白区域。
• Stable Diffusion: 用于基于文本提示的图像生成，帮助根据输入的文本描述填充或替换内容。
• PyTorch: 底层深度学习框架，支持模型训练和推理。

准备工作及详细安装步骤

环境准备

首先确保你的系统已安装好以下软件：

1. Python >= 3.8
2. pip（通常随Python安装）
3. Git，用于克隆项目代码。

执行以下命令以更新pip至最新版本（如果需要）：

pip install --upgrade pip

项目克隆与环境设置

1. 克隆项目：

   git clone https://github.com/geekyutao/Inpaint-Anything.git
   

2. 创建虚拟环境（推荐），以便隔离项目依赖：

   python -m venv venv
   source venv/bin/activate    # 对于Windows，是 venv\Scripts\activate
   

安装依赖

进入项目目录，并按照指示安装所需的库：

1. 基本依赖：

   pip install torch torchvision torchaudio
   

2. 特定项目依赖：

   pip install -e segment_anything
   pip install -r lama/requirements.txt
   

对于Windows用户，先安装miniconda，然后使用管理员权限打开Anaconda PowerShell Prompt，并且对lama_requirements_windows.txt进行特别处理：

pip install -r lama_requirements_windows.txt

下载预训练模型

项目运行需要预先下载几个关键的模型检查点，包括SAM和LaMa的预训练模型。你可以从项目的指引或相关资源页下载这些模型文件，并放置在项目中的pretrained_models文件夹内。例如，下载sam_vit_h_4b8939.pth和big-lama checkpoint。

运行示例

移除任何对象（Remove Anything）

python remove_anything.py \
    --input_img example/remove-anything/dog.jpg \
    --coords_type key_in \
    --point_coords 200 450 \
    --point_labels 1 \
    --dilate_kernel_size 15 \
    --output_dir results \
    --sam_model_type "vit_h" \
    --sam_ckpt pretrained_models/sam_vit_h_4b8939.pth \
    --lama_config lama/configs/prediction/default.yaml \
    --lama_ckpt pretrained_models/big-lama

填充任何内容（Fill Anything）

python fill_anything.py \
    --input_img example/fill-anything/sample1.png \
    --coords_type key_in \
    --point_coords 750 500 \
    --point_labels 1 \
    --text_prompt "a teddy bear on a bench" \
    --dilate_kernel_size 50 \
    --output_dir results \
    --sam_model_type "vit_h" \
    --sam_ckpt pretrained_models/sam_vit_h_4b8939.pth

注意事项

• 在实际操作中，确保所有路径正确无误。
• 根据项目更新可能需要调整模型路径或参数。
• 若在运行过程中遇到具体错误，查阅项目文档或提交GitHub issue寻求帮助。

完成上述步骤后，你就拥有了一个可以自定义处理图片的环境，无论是移除、填充还是替换场景中的元素。享受实验的乐趣，并探索深度学习在图像编辑中的无限可能！

Inpaint-Anything Inpaint anything using Segment Anything and inpainting models. 项目地址: https://gitcode.com/gh_mirrors/in/Inpaint-Anything