G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment 技术文档

G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment 技术文档

geval Code for paper "G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment" 项目地址: https://gitcode.com/gh_mirrors/ge/geval

本文档旨在帮助用户详细了解并使用 "G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment" 项目。项目基于 GPT-4 模型，用于自然语言生成（NLG）系统的评估，特别关注与人类判断更好的对齐。

1. 安装指南

环境要求

• Python 3.7 或更高版本
• 安装所需的 Python 包：

  pip install -r requirements.txt
  

克隆项目

git clone https://github.com/your-repo/G-Eval.git
cd G-Eval

2. 项目的使用说明

2.1 评估流畅性

使用 gpt4_eval.py 脚本评估 SummEval 数据集的流畅性：

python .\gpt4_eval.py --prompt .\prompts\summeval\flu_detailed.txt --save_fp .\results\gpt4_flu_detailed.json --summeval_fp .\data\summeval.json --key XXXXX

2.2 元评估 G-Eval 结果

使用 meta_eval_summeval.py 脚本对 G-Eval 结果进行元评估：

python .\meta_eval_summeval.py --input_fp .\results\gpt4_flu_detailed.json --dimension fluency

3. 项目API使用文档

3.1 gpt4_eval.py

• 功能: 使用 GPT-4 模型评估文本的流畅性。
• 参数:
  • --prompt: 提示文件路径。
  • --save_fp: 保存评估结果的文件路径。
  • --summeval_fp: SummEval 数据集文件路径。
  • --key: GPT-4 API 密钥。

3.2 meta_eval_summeval.py

• 功能: 对 G-Eval 结果进行元评估。
• 参数:
  • --input_fp: 输入的 G-Eval 结果文件路径。
  • --dimension: 评估维度（如 fluency）。

4. 项目安装方式

4.1 手动安装

1. 克隆项目仓库。
2. 安装所需的 Python 包。
3. 配置 GPT-4 API 密钥。

4.2 使用 Docker

docker build -t g-eval .
docker run -it g-eval

通过以上步骤，您可以顺利安装并使用 "G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment" 项目。如有任何问题，请参考项目文档或联系开发者。

geval Code for paper "G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment" 项目地址: https://gitcode.com/gh_mirrors/ge/geval