RxR 开源项目教程

RxR 开源项目教程

RxRRoom-across-Room (RxR) is a large-scale, multilingual dataset for Vision-and-Language Navigation (VLN) in Matterport3D environments. It contains 126k navigation instructions in English, Hindi and Telugu, and 126k navigation following demonstrations. Both annotation types include dense spatiotemporal alignments between the text and the visual perceptions of the annotators项目地址:https://gitcode.com/gh_mirrors/rx/RxR

1. 项目的目录结构及介绍

RxR 项目的目录结构如下：

RxR/
├── README.md
├── LICENSE
├── data/
│   ├── train/
│   ├── val/
│   └── test/
├── scripts/
│   ├── preprocess.py
│   ├── train.py
│   └── evaluate.py
├── configs/
│   ├── default_config.yaml
│   └── custom_config.yaml
├── models/
│   ├── base_model.py
│   └── custom_model.py
└── main.py

目录介绍

• README.md: 项目说明文档。
• LICENSE: 项目许可证。
• data/: 存放训练、验证和测试数据。
• scripts/: 包含数据预处理、训练和评估脚本。
• configs/: 配置文件目录，包含默认配置和自定义配置。
• models/: 模型定义文件。
• main.py: 项目启动文件。

2. 项目的启动文件介绍

main.py 是项目的启动文件，负责初始化配置、加载数据、训练模型和评估模型。以下是 main.py 的主要功能：

import argparse
from configs.config_manager import ConfigManager
from data.data_loader import DataLoader
from models.model_factory import ModelFactory
from scripts.train import train_model
from scripts.evaluate import evaluate_model

def main():
    parser = argparse.ArgumentParser(description="RxR Project")
    parser.add_argument("--config", type=str, default="default_config.yaml", help="Path to the config file")
    args = parser.parse_args()

    config_manager = ConfigManager(args.config)
    config = config_manager.get_config()

    data_loader = DataLoader(config)
    model_factory = ModelFactory(config)

    model = model_factory.create_model()
    train_model(model, data_loader, config)
    evaluate_model(model, data_loader, config)

if __name__ == "__main__":
    main()

主要功能

• 解析命令行参数，加载配置文件。
• 初始化配置管理器、数据加载器和模型工厂。
• 创建模型并进行训练和评估。

3. 项目的配置文件介绍

配置文件位于 configs/ 目录下，包含 default_config.yaml 和 custom_config.yaml。以下是 default_config.yaml 的内容示例：

data:
  train_path: "data/train"
  val_path: "data/val"
  test_path: "data/test"

model:
  type: "base_model"
  hidden_size: 256
  num_layers: 2

training:
  batch_size: 32
  epochs: 10
  learning_rate: 0.001

evaluation:
  metrics: ["accuracy", "f1_score"]

配置文件介绍

• data: 数据路径配置。
• model: 模型类型和参数配置。
• training: 训练参数配置。
• evaluation: 评估指标配置。

通过修改配置文件，可以自定义数据路径、模型参数和训练过程。

RxRRoom-across-Room (RxR) is a large-scale, multilingual dataset for Vision-and-Language Navigation (VLN) in Matterport3D environments. It contains 126k navigation instructions in English, Hindi and Telugu, and 126k navigation following demonstrations. Both annotation types include dense spatiotemporal alignments between the text and the visual perceptions of the annotators项目地址:https://gitcode.com/gh_mirrors/rx/RxR