F3RM 项目教程

F3RM 项目教程

f3rm F3RM: Feature Fields for Robotic Manipulation. Official repo for the paper "Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation" (CoRL 2023). 项目地址: https://gitcode.com/gh_mirrors/f3/f3rm

1、项目介绍

F3RM（Feature Fields for Robotic Manipulation）是一个用于机器人操作的开源项目，旨在通过将2D基础模型的特征提取到3D特征场中，实现少样本语言引导的操作。该项目由MIT CSAIL和Institute of AI and Fundamental Interactions（IAIFI）共同开发，并在CoRL 2023会议上进行了展示。

F3RM的主要功能包括：

• 训练特征场
• 6自由度姿态优化
• 开放文本语言引导的操作

2、项目快速启动

安装环境

首先，确保你已经安装了conda，并创建一个新的环境：

conda create -n f3rm python=3.8
conda activate f3rm

安装依赖

安装PyTorch和CUDA工具包：

pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
conda install -c "nvidia/label/cuda-11.8.0" cuda-toolkit
export CUDA_HOME=$CONDA_PREFIX

安装tiny-cuda-nn：

pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch

克隆并安装F3RM

克隆项目并安装：

git clone https://github.com/f3rm/f3rm.git
cd f3rm
pip install -e .

安装命令行补全：

ns-install-cli

测试安装：

ns-train --help

下载示例数据集

使用以下命令下载示例数据集：

f3rm-download-data

训练特征场

使用以下命令开始训练：

ns-train f3rm --data <data_folder>

3、应用案例和最佳实践

应用案例

F3RM可以应用于各种机器人操作任务，例如：

• 在桌面上抓取和放置物体
• 通过语言指令调整物体的位置和方向

最佳实践

• 数据准备：确保数据集的质量和多样性，以提高模型的泛化能力。
• 超参数调整：根据具体任务调整训练参数，如学习率、批量大小等。
• 模型评估：定期评估模型性能，确保其在实际应用中的有效性。

4、典型生态项目

Nerfstudio

F3RM基于Nerfstudio构建，Nerfstudio是一个用于训练和可视化NeRF（Neural Radiance Fields）的工具包。通过Nerfstudio，用户可以轻松地训练和可视化3D特征场。

PyTorch3D

PyTorch3D是一个用于3D深度学习的库，F3RM使用PyTorch3D进行3D模型的训练和优化。

CLIP

CLIP（Contrastive Language-Image Pretraining）是一个用于图像和文本匹配的模型，F3RM利用CLIP的特征进行语言引导的操作。

通过这些生态项目，F3RM能够实现高效、准确的机器人操作任务。

f3rm F3RM: Feature Fields for Robotic Manipulation. Official repo for the paper "Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation" (CoRL 2023). 项目地址: https://gitcode.com/gh_mirrors/f3/f3rm