HalluQA 开源项目使用教程
1. 项目的目录结构及介绍
HalluQA 项目的目录结构如下:
HalluQA/
├── Chinese_LLMs_outputs/
│ ├── imgs/
│ └── prompts/
├── HalluQA.json
├── HalluQA_mc.json
├── LICENSE
├── README.md
├── calculate_metrics.py
├── calculate_metrics_mc.py
└── gpt-4-0613_responses.json
目录结构介绍
Chinese_LLMs_outputs/
: 包含与中文大型语言模型输出相关的图像和提示文件。imgs/
: 图像文件。prompts/
: 提示文件。
HalluQA.json
: 包含 HalluQA 基准测试的完整数据。HalluQA_mc.json
: 包含 HalluQA 多选任务的测试数据。LICENSE
: 项目许可证文件。README.md
: 项目说明文档。calculate_metrics.py
: 用于计算非幻觉率的脚本。calculate_metrics_mc.py
: 用于计算多选任务准确率的脚本。gpt-4-0613_responses.json
: GPT-4 响应文件。
2. 项目的启动文件介绍
项目的启动文件是 calculate_metrics.py
和 calculate_metrics_mc.py
。
calculate_metrics.py
该脚本用于计算非幻觉率,即模型生成的答案中不包含幻觉的比例。使用方法如下:
python calculate_metrics.py --response_file_name <your_responses_file_name> --api_key <your_openai_api_key> --organization <your_openai_organization>
calculate_metrics_mc.py
该脚本用于计算多选任务的准确率。使用方法如下:
python calculate_metrics_mc.py --response_file_name <your_results_file_name>
3. 项目的配置文件介绍
项目的主要配置文件是 gpt-4-0613_responses.json
,该文件包含了 GPT-4 的响应数据。在使用 calculate_metrics.py
和 calculate_metrics_mc.py
脚本时,需要提供相应的响应文件名和 OpenAI API 密钥。
配置文件示例
{
"response_file_name": "gpt-4-0613_responses.json",
"api_key": "your_openai_api_key",
"organization": "your_openai_organization"
}
以上是 HalluQA 开源项目的使用教程,希望对您有所帮助。