HalluQA 开源项目使用教程

HalluQA 开源项目使用教程

HalluQADataset and evaluation script for "Evaluating Hallucinations in Chinese Large Language Models"项目地址:https://gitcode.com/gh_mirrors/ha/HalluQA

1. 项目的目录结构及介绍

HalluQA 项目的目录结构如下：

HalluQA/
├── Chinese_LLMs_outputs/
│   ├── imgs/
│   └── prompts/
├── HalluQA.json
├── HalluQA_mc.json
├── LICENSE
├── README.md
├── calculate_metrics.py
├── calculate_metrics_mc.py
└── gpt-4-0613_responses.json

目录结构介绍

• Chinese_LLMs_outputs/: 包含与中文大型语言模型输出相关的图像和提示文件。
  • imgs/: 图像文件。
  • prompts/: 提示文件。
• HalluQA.json: 包含 HalluQA 基准测试的完整数据。
• HalluQA_mc.json: 包含 HalluQA 多选任务的测试数据。
• LICENSE: 项目许可证文件。
• README.md: 项目说明文档。
• calculate_metrics.py: 用于计算非幻觉率的脚本。
• calculate_metrics_mc.py: 用于计算多选任务准确率的脚本。
• gpt-4-0613_responses.json: GPT-4 响应文件。

2. 项目的启动文件介绍

项目的启动文件是 calculate_metrics.py 和 calculate_metrics_mc.py。

calculate_metrics.py

该脚本用于计算非幻觉率，即模型生成的答案中不包含幻觉的比例。使用方法如下：

python calculate_metrics.py --response_file_name <your_responses_file_name> --api_key <your_openai_api_key> --organization <your_openai_organization>

calculate_metrics_mc.py

该脚本用于计算多选任务的准确率。使用方法如下：

python calculate_metrics_mc.py --response_file_name <your_results_file_name>

3. 项目的配置文件介绍

项目的主要配置文件是 gpt-4-0613_responses.json，该文件包含了 GPT-4 的响应数据。在使用 calculate_metrics.py 和 calculate_metrics_mc.py 脚本时，需要提供相应的响应文件名和 OpenAI API 密钥。

配置文件示例

{
  "response_file_name": "gpt-4-0613_responses.json",
  "api_key": "your_openai_api_key",
  "organization": "your_openai_organization"
}

以上是 HalluQA 开源项目的使用教程，希望对您有所帮助。

HalluQADataset and evaluation script for "Evaluating Hallucinations in Chinese Large Language Models"项目地址:https://gitcode.com/gh_mirrors/ha/HalluQA