Linux本地复现 open_llm_leaderboard 评测

场景：

huggingface官方提供了大模型的评测体系，并在这里提供了运行评测的方法，可以在本地对自己的模型进行评测，得到各个指标的结果。

---

问题描述

本地运行涉及网络问题

例如：exact_match.py以及一些评测数据集是默认从huggingface或者GitHub加载的，但是由于网络环境下载不到，并且不会报错，只会卡在原地没有进度，只有Ctrl+C强制退出才可以看到具体报错信息。这种情况下我们要手动下载所需的资源放到本地。
![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/5e06b91700cc4964bc87a3f39f1955d3.png
![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/525e083820d24298b0a6bbef460c037b.png

解决方案：

提示：这里我举两个例子，其他的内容大同小异，各位读者请举一反三

1.缺少文件

这里主要是在load方法这里，首先从huggingface这里！下载exact_match.py文件，然后将"exact_match"替换成本地路径即可。

2、所有数据集是在第一次评测的时候从huggingface上下载的，具体下载路径的配置文件在lm_eval/tasks文件夹中，例如mmlu_pro数据集的位置位于lm_eval/tasks/leaderboard/mmlu_pro/将其中的yaml配置文件的数据集路径替换成提前下载好的本地路径即可。