OLMo-Eval 项目使用教程

OLMo-Eval 项目使用教程

OLMo-Eval 项目地址: https://gitcode.com/gh_mirrors/ai/ai2-olmo-eval

1. 项目的目录结构及介绍

OLMo-Eval 项目的目录结构如下：

OLMo-Eval/
├── configs/
│   ├── task_sets/
│   └── example_config.jsonnet
├── docs/
├── olmo_eval/
├── paloma/
├── scripts/
├── test_fixtures/
├── tests/
├── .dockerignore
├── .gitignore
├── .readthedocs.yaml
├── ADVANCED.md
├── BEAKER.md
├── CHANGELOG.md
├── LICENSE
├── Makefile
├── README.md
├── RELEASE_PROCESS.md
├── pyproject.toml
├── tango-in-beaker.yml
└── tango.yml

目录结构介绍

• configs/: 包含任务集的配置文件和示例配置文件。

  • task_sets/: 存放任务集的配置文件。
  • example_config.jsonnet: 示例配置文件，用于运行评估任务。

• docs/: 存放项目的文档文件。

• olmo_eval/: 包含评估框架的核心代码。

• paloma/: 与 PALOMA 相关的代码和配置文件。

• scripts/: 存放项目的脚本文件。

• test_fixtures/: 存放测试用的固定数据。

• tests/: 存放项目的测试代码。

• .dockerignore: Docker 忽略文件。

• .gitignore: Git 忽略文件。

• .readthedocs.yaml: ReadTheDocs 配置文件。

• ADVANCED.md: 高级功能文档。

• BEAKER.md: Beaker 相关文档。

• CHANGELOG.md: 项目变更日志。

• LICENSE: 项目许可证文件。

• Makefile: 项目的 Makefile 文件。

• README.md: 项目的主 README 文件。

• RELEASE_PROCESS.md: 发布流程文档。

• pyproject.toml: Python 项目配置文件。

• tango-in-beaker.yml: Tango 在 Beaker 上的配置文件。

• tango.yml: Tango 配置文件。

2. 项目的启动文件介绍

项目的启动文件主要是通过 tango 命令来执行配置文件中的任务。以下是一个示例启动命令：

tango --settings tango.yml run configs/example_config.jsonnet --workspace my-eval-workspace

启动文件介绍

• tango.yml: 这是 Tango 的配置文件，定义了 Tango 的工作环境和其他相关设置。

• configs/example_config.jsonnet: 这是示例配置文件，定义了要运行的任务集和模型。

• --workspace my-eval-workspace: 指定工作空间，用于保存任务的输出结果。

3. 项目的配置文件介绍

项目的配置文件主要位于 configs/ 目录下，包括任务集的配置文件和示例配置文件。

配置文件介绍

• configs/task_sets/: 存放任务集的配置文件，每个文件定义了一个或多个任务的评估配置。

• configs/example_config.jsonnet: 示例配置文件，定义了要运行的任务集和模型。以下是一个简单的配置示例：

{
  "pipeline": {
    "steps": [
      {
        "type": "gen_tasks",
        "model": "EleutherAI/pythia-1b",
        "tasks": ["task1", "task2"]
      }
    ]
  }
}

配置文件说明

• pipeline: 定义了评估任务的管道。
  • steps: 管道中的步骤，每个步骤定义了一个任务的执行。
    • type: 步骤的类型，例如 gen_tasks。
    • model: 要评估的模型，例如 EleutherAI/pythia-1b。
    • tasks: 要执行的任务列表。

通过这些配置文件，用户可以自定义评估任务和模型，并运行相应的评估管道。

OLMo-Eval 项目地址: https://gitcode.com/gh_mirrors/ai/ai2-olmo-eval