【Ubuntu】从零开始配置KgCLUEbench的NER环境

前言

---

为了学习使用BERT模型做知识库问答，因此找到了开源的 KgCLUE 项目。其中 KgCLUEbench 是方便初学者学习的子项目，相比原项目精简了很多。就此介绍 KgCLUEbench 的环境配置。

本文使用 Ubuntu 18.04 环境
Python 3.6, CUDA 10.0, cuDNN 7.6, Ubuntu 18.04

正文

---

更新环境

sudo apt update && sudo apt upgrade

下载库文件

下载 KgCLUEbench 和 KgCLUE 两个库

git clone https://github.com/CLUEbenchmark/KgCLUE.git
git clone https://github.com/CLUEbenchmark/KgCLUEbench.git

创建虚拟环境

使用 python virtualenv 创建虚拟环境

python -m pip install --upgrade pip # 升级 pip
pip install virtualenv
virtualenv nlp2022 --python=python3.7
cd nlp2022/bin
source ./activate

tensorflow环境配置

使用上海交大源

pip install tensorflow==1.15.4 -i https://mirror.sjtu.edu.cn/pypi/web/simple
pip install tensorflow-gpu==1.15.4 -i https://mirror.sjtu.edu.cn/pypi/web/simple
pip install requests==2.23.0 -i https://mirror.sjtu.edu.cn/pypi/web/simple

设置项目根目录

python 3.7.9
>>> import site
>>> site.getsitepackages() # 记录python模块路径path
>>> exit() # 退出python REPL

创建 pth 文件

vim module_path/KgCLUEbench.pth

插入 KgCLUEbench的绝对路径，保存退出

配置数据集

进入DataMaking.py 发现需要配置输入数据路径，包括训练集，测试集和验证集
为了获取数据，从 KgCLUE-main 中的获取 train.json，dev.json 和 test_public.json 分别作为训练集，验证集和测试集，放在 raw_data 文件夹

找到喜欢的模型并下载，这里用的是 chinese_rbtl3_L-3_H-1024_A-16.zip 模型页面

在 pretraning_model 文件夹解压，可以知道数据配置文件为 bert_config_rbtl3.json

下载知识库（参考 KgCLUE README），解压到 knowledge 文件夹

修改 algorithm 下的 config.py 中 model_source，bert_config 为上面的文件

修改 KG 文件夹下的 es.py 中的 input_file 调整为下载下来的知识库文件名, host, port调整为服务器上的 host 和 port

测试运行

cd algorithm/kg_qa/NER 
python DataMaking.py # 生成数据
python TrainAndValid.py # 进行训练和验证

总结

---

本文介绍了 KgCLUEbench 的 NER 部分环境配置，对于 SIM 部分可进行类似的操作。