特征散布开源项目最佳实践指南

特征散布开源项目最佳实践指南

feature-splatting 项目地址: https://gitcode.com/gh_mirrors/fe/feature-splatting

1. 项目介绍

特征散布（Feature Splatting）是一种用于3D场景重建和编辑的技术，本项目是基于Nerfstudio的官方实现。Nerfstudio是一个易于使用且高效的3D重建工具，本项目通过一些简化的方法，如使用MobileSAMV2代替SAM，以及使用简单的边界框选择高斯分布进行编辑，使得特征散布更加便捷和高效。本项目适用于快速检查特征质量，若需要重现完整的物理效果，请参考基于INRIA 3DGS的原始代码库。

2. 项目快速启动

环境准备

首先，需要创建一个独立的conda环境，并安装必要的依赖。

# 创建一个隔离的conda环境
conda create --name feature_splatting_ns -y python=3.8
conda activate feature_splatting_ns

# 安装必要的NS依赖
pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
conda install -c nvidia/label/cuda-11.8.0 cuda-toolkit

# 安装Nerfstudio
pip install nerfstudio

安装项目

可以通过以下命令安装本项目：

# 克隆并进入项目目录
pip install -e .

或者，仅尝试特征散布：

pip install git+https://github.com/vuer-ai/feature-splatting

训练示例

安装完成后，可以在任何Nerfstudio格式的数据集上训练特征散布。以下是一个示例命令：

# 下载数据集
ns-download-data nerfstudio --capture-name=poster

# 训练模型
ns-train feature-splatting --data data/nerfstudio/poster

请确保在编辑任何功能之前，暂停训练。否则，可能会导致竞争条件。

3. 应用案例和最佳实践

使用自定义文本查询

在Nerfstudio中，您可以为模型提供正文本查询，以可视化语言查询的响应热图。在训练期间，确保暂停训练，然后在“输出类型”下拉菜单中，选择“similarity”输出。

优化编辑工作流

为了更好地实现对象分割，建议移除简单的边界框选择方法，并实现更好的分割策略。此外，改进线程安全性也是关键，以避免编辑和训练同时进行时的竞争条件。

4. 典型生态项目

Nerfstudio

Nerfstudio是一个开源的神经网络渲染 studio，它提供了一个易于使用的界面和工具，用于创建高质量的三维模型和渲染。

MobileSAMV2

MobileSAMV2是一个用于特征提取的网络，专为移动设备优化，提供了高效的特征提取能力。

通过这些典型生态项目的结合，可以更好地实现特征散布技术在实际应用中的高效性和准确性。

feature-splatting 项目地址: https://gitcode.com/gh_mirrors/fe/feature-splatting