论文:https://arxiv.org/pdf/1810.04805.pdf
官方代码:GitHub - google-research/bert: TensorFlow code and pre-trained models for BERT
跑通代码
环境配置
1、安装anaconda环境
2、执行如下代码配置环境,不需要额外安装cuda和cudnn,如下的安装方式已经在环境中自动安装了cuda和cudnn,但只在conda叫bert的这个环境中生效,并不影响你原来安装的cuda和cudnn。
conda create -n bert python=3.6
conda activate bert
conda install tensorflow-gpu==1.13.1
代码位置
执行训练命令(如果出现OOM,调小batchsize。 ):
python run_squad.py \
--vocab_file=/data2/PrivateExperiment/bert-master/uncased_L-12_H-768_A-12/vocab.txt \
--bert_config_file=/data2/PrivateExperiment/bert-master/uncased_L-12_H-768_A-12/bert_config.json \
--init_checkpoint=/data2/PrivateExperiment/bert-master/uncased_L-12_H-768_A-12/bert_model.ckpt \
--do_train=True \
--train_file=/data2/PrivateExperiment/bert-master/squad/train-v1.1.json \
--do_predict=True \
--predict_file=/data2/PrivateExperiment/bert-master/squad/dev-v1.1.json \
--train_batch_size=8 \
--learning_rate=3e-5 \
--num_train_epochs=2.0 \
--max_seq_length=384 \
--doc_stride=128 \
--output_dir=/data2/PrivateExperiment/bert-master/squad_output/
执行测试命令:
python run_squad.py \
--vocab_file=/data2/PrivateExperiment/bert-master/uncased_L-12_H-768_A-12/vocab.txt \
--bert_config_file=/data2/PrivateExperiment/bert-master/uncased_L-12_H-768_A-12/bert_config.json \
--init_checkpoint=/data2/PrivateExperiment/bert-master/uncased_L-12_H-768_A-12/bert_model.ckpt \
--do_predict=True \
--predict_file=/data2/PrivateExperiment/bert-master/squad/dev-v1.1.json \
--train_batch_size=8 \
--learning_rate=3e-5 \
--num_train_epochs=2.0 \
--max_seq_length=384 \
--doc_stride=128 \
--output_dir=/data2/PrivateExperiment/bert-master/squad_output/
到这里应该基本没什么问题,如果出现了问题大概率是你路径写错了。