CBLUEbenchmark代码跑通

CBLUEbenchmark 跑通

github源地址
1.配置

• 数据下载
  新建文件夹CLBUEDatasets,将数据放在该文件夹下
• 模型下载到github源地址中选择一个模型来下载:
  
  将下载好的模型放在一个专门放模型的文件夹下，我这里是bert
  文件如下所示放置：
  
  2.训练模型（以CMeEE任务为例）：
  首先更改examples\run_ee.sh文件

#!/usr/bin/env bash

DATA_DIR="../CBLUEDatasets"

TASK_NAME="ee"
MODEL_TYPE="bert"
MODEL_DIR="../bert/"#这里是模型存放路径
MODEL_NAME="chinese_wwm_ext_pytorch"#需要使用的模型
OUTPUT_DIR="../data/output"#输出结果地址
RESULT_OUTPUT_DIR="../data/result_output"


MAX_LENGTH=128

echo "Start running"

if [ $# == 0 ]; then
    python ../baselines/run_classifier.py \#这里记得baselines前面加上../
        --data_dir=${DATA_DIR} \
        --model_type=${MODEL_TYPE} \
        --model_dir=${MODEL_DIR} \
        --model_name=${MODEL_NAME} \
        --task_name=${TASK_NAME} \
        --output_dir=${OUTPUT_DIR} \
        --result_output_dir=${RESULT_OUTPUT_DIR} \
        --do_train \
        --max_length=${MAX_LENGTH} \
        --train_batch_size=16 \
        --eval_batch_size=16 \
        --learning_rate=3e-5 \
        --epochs=5 \
        --warmup_proportion=0.1 \
        --earlystop_patience=100 \
        --max_grad_norm=0.0 \
        --logging_steps=200 \
        --save_steps=200 \
        --seed=2021
elif [ $1 == "predict" ]; then
    python ../baselines/run_classifier.py \#这里也记得加上
        --data_dir=${DATA_DIR} \
        --model_type=${MODEL_TYPE} \
        --model_name=${MODEL_NAME} \
        --model_dir=${MODEL_DIR} \
        --task_name=${TASK_NAME} \
        --output_dir=${OUTPUT_DIR} \
        --result_output_dir=${RESULT_OUTPUT_DIR} \
        --do_predict \
        --max_length=${MAX_LENGTH} \
        --eval_batch_size=32 \
        --seed=2021
fi

然后直接执行bash run_ee.sh 对模型进行训练
中间保存的一些数据放在data/output下，运行结束后会有：

3.预测模型
执行

bash run_ee.sh predict

预测结果会放在data/result_output下：

4.检查格式是否正确
将原任务的test.json重命名为test_raw.json和测试结果放在format_checker文件夹下：

然后执行

python format_checker_CMeEE.py CMeEE_test_raw.json CMeEE_test.json

格式正确会：