lm-evaluation-harness 安装和配置指南

lm-evaluation-harness 安装和配置指南

lm-evaluation-harness A framework for few-shot evaluation of autoregressive language models. 项目地址: https://gitcode.com/gh_mirrors/lm/lm-evaluation-harness

1. 项目基础介绍和主要编程语言

项目基础介绍

lm-evaluation-harness 是一个用于评估语言模型的开源框架，由 EleutherAI 开发。该框架提供了一个统一的接口，用于在大量不同的评估任务上测试生成语言模型。它支持多种语言模型，包括通过 Hugging Face 的 transformers 库加载的模型、GPT-NeoX 和 Megatron-DeepSpeed 等。

主要编程语言

该项目主要使用 Python 编程语言。

2. 项目使用的关键技术和框架

关键技术和框架

• Hugging Face Transformers: 用于加载和使用各种预训练语言模型。
• vLLM: 用于快速和内存高效的推理。
• OpenAI API: 支持通过 OpenAI 的 API 进行模型评估。
• TextSynth: 支持通过 TextSynth 进行模型评估。
• Hugging Face PEFT: 支持评估在 Hugging Face 的 PEFT 库中支持的适配器（如 LoRA）。

3. 项目安装和配置的准备工作和详细安装步骤

准备工作

在开始安装之前，请确保您的系统满足以下要求：

• Python 3.7 或更高版本
• Git
• CUDA（如果使用 GPU）

详细安装步骤

步骤 1: 克隆项目仓库

首先，您需要从 GitHub 克隆 lm-evaluation-harness 项目仓库。打开终端并运行以下命令：

git clone https://github.com/EleutherAI/lm-evaluation-harness.git

步骤 2: 进入项目目录

克隆完成后，进入项目目录：

cd lm-evaluation-harness

步骤 3: 安装依赖

使用 pip 安装项目的依赖项。运行以下命令：

pip install -e .

步骤 4: 验证安装

安装完成后，您可以通过运行以下命令来验证安装是否成功：

lm_eval --help

如果安装成功，您将看到帮助信息，其中列出了所有可用的命令和选项。

配置指南

配置模型和任务

在 lm-evaluation-harness 中，您可以通过命令行参数配置要评估的模型和任务。例如，要评估一个托管在 Hugging Face Hub 上的模型（如 GPT-J-6B），您可以使用以下命令：

lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks hellaswag --device cuda:0 --batch_size 8

配置多 GPU 评估

如果您有多块 GPU，可以使用 Hugging Face 的 accelerate 库进行多 GPU 评估。以下是一个示例命令：

accelerate launch -m lm_eval --model hf --tasks lambada_openai,arc_easy --batch_size 16

结论

通过以上步骤，您已经成功安装并配置了 lm-evaluation-harness 项目。现在，您可以开始使用该框架来评估各种语言模型的性能。

lm-evaluation-harness A framework for few-shot evaluation of autoregressive language models. 项目地址: https://gitcode.com/gh_mirrors/lm/lm-evaluation-harness