使用Huggingface的evaluate模块

一 . 安装evaluate模块

pip直接安装时，只会显示Requirement already satisfied。
所以使用源码安装：

git clone https://github.com/huggingface/evaluate.git
cd evaluate
pip install -e .

Evaluate：huggingface评价指标模块入门详细介绍

二 . 使用evaluate模块

import evaluate
perplexity = evaluate.load("perplexity", module_type="metric")
input_texts = ["lorem ipsum", "Happy Birthday!", "Bienvenue"]
results = perplexity.compute(model_id='gpt2',
                             add_start_token=False,
                             predictions=input_texts)
print(list(results.keys()))

代码会卡在load语句，因为需要下载相应模块到缓存，但是访问不了huggingface 这个网址，没办法顺利下载，所以需要下载相关文件到本地。

1. 先下载metric模块

下载 metrics 网址

2. 再下载gpt-2模块

下载 gpt-2 网址

网页内的模型不需要全部下载。
如果是Pytorch的环境，只需要下载好下面几个文件。

3. 修改模型为相对位置

import evaluate
perplexity = evaluate.load("./evaluate-main/metrics/perplexity", module_type="metric")
input_texts = ["lorem ipsum", "Happy Birthday!", "Bienvenue"]
results = perplexity.compute(model_id='./gpt-2', predictions=input_texts)
print(list(results.values()))

运行结果如下

Huggingface Evaluate包使用小坑

perplexity 介绍网址