EVA 项目安装和配置指南

EVA 项目安装和配置指南

EVA 项目地址: https://gitcode.com/gh_mirrors/eva3/EVA

1. 项目基础介绍和主要编程语言

项目介绍

EVA 是一个大规模的中文开放域对话系统，由清华大学 COAI 实验室开发。该项目基于预训练的对话模型，拥有28亿参数，主要擅长开放域闲聊。EVA 项目目前有 1.0 和 2.0 两个版本，分别在不同的数据集上训练而成。

主要编程语言

EVA 项目主要使用 Python 编程语言进行开发。

2. 项目使用的关键技术和框架

关键技术

• 预训练模型：EVA 使用大规模的预训练模型进行对话生成。
• 对话系统：项目专注于开放域对话系统，能够进行自然语言处理和生成。
• 微调技术：支持对预训练模型进行微调，以适应特定任务。

框架

• PyTorch：深度学习框架，用于模型的训练和推理。
• Hugging Face Transformers：用于加载和使用预训练模型。
• DeepSpeed：用于加速大规模模型的训练。

3. 项目安装和配置的准备工作和详细安装步骤

准备工作

1. 操作系统：推荐使用 Linux 或 macOS 系统。
2. 硬件要求：至少需要一张支持 CUDA 的 NVIDIA GPU，显存建议不低于 8GB。
3. 软件依赖：Python 3.6 或更高版本，CUDA 10.2。

安装步骤

步骤 1：克隆项目仓库

首先，从 GitHub 上克隆 EVA 项目仓库到本地：

git clone https://github.com/thu-coai/EVA.git
cd EVA

步骤 2：创建虚拟环境（可选）

为了隔离项目依赖，建议创建一个 Python 虚拟环境：

python3 -m venv eva_env
source eva_env/bin/activate

步骤 3：安装依赖

安装项目所需的所有依赖包：

pip install -r requirements.txt

步骤 4：安装 Apex

Apex 是一个用于混合精度训练的库，需要手动安装：

git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

步骤 5：安装 DeepSpeed

DeepSpeed 是一个用于加速大规模模型训练的库，需要安装特定版本：

pip install deepspeed==0.3.9

步骤 6：配置 DeepSpeed（可选）

如果安装的 DeepSpeed 版本有 bug，可以参考项目文档进行修复。项目提供了修复后的文件，可以直接替换：

cp src/ds_fix/stage1.py [PATH_TO_PYTHON_SITE_PACKAGE]/deepspeed/runtime/zero/stage1.py
cp src/ds_fix/engine.py [PATH_TO_PYTHON_SITE_PACKAGE]/deepspeed/runtime/engine.py

步骤 7：下载预训练模型

从项目提供的链接下载 EVA 2.0 的预训练模型，并将其放置在合适的位置。

步骤 8：运行项目

根据需要运行交互式评测、静态评测或微调脚本。例如，运行交互式评测脚本：

cd src/
bash scripts/eva_inference_interactive_beam.sh

注意事项

• 确保所有路径配置正确。
• 如果显存不足，可以使用 src/change_mp.py 脚本调整模型并行度。

通过以上步骤，您应该能够成功安装和配置 EVA 项目，并开始使用其强大的对话生成功能。

EVA 项目地址: https://gitcode.com/gh_mirrors/eva3/EVA