运行谷歌开源BERT程序时遇到的bug修改记录

运行谷歌开源BERT程序时遇到的bug修改记录

一、没有对应的模块

采用anaconda的python3.8做为解释器，其实以及包含基本的第三方库了，但是在运行run_classifier.py文件时，仍然报错has no attribute XXX
解决方式：

# import tensorflow as tf
import tensorflow.compat.v1 as tf

二、传入参数错误

在将谷歌开源的github当中提示的参数配置到Edit Configuration当中的Parameters时，例如

  --task_name=MRPC \
  --do_train=true \
  --do_eval=true \
  --data_dir=$GLUE_DIR/MRPC \
  --vocab_file=$BERT_BASE_DIR/vocab.txt \
  --bert_config_file=$BERT_BASE_DIR/bert_config.json \
  --init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt \
  --max_seq_length=128 \
  --train_batch_size=32 \
  --learning_rate=2e-5 \
  --num_train_epochs=3.0 \
  --output_dir=/tmp/mrpc_output/

提示：Non-boolean argument to boolean flag', 'true\\
解决方式： 去除掉 \

--task_name=MRPC # MRPC
--do_train=true # 是否进行训练
--do_eval=true # 是否进行验证
--data_dir=../GLUE/glue_data/MRPC 
--vocab_file=../GLUE/BERT_BASE_DIR/uncased_L-12_H-768_A-12/vocab.txt # 语料标表
--bert_config_file=../GLUE/BERT_BASE_DIR/uncased_L-12_H-768_A-12/bert_config.json # 预训练配置文件
--init_checkpoint=../GLUE/BERT_BASE_DIR/uncased_L-12_H-768_A-12/bert_model.ckpt # 微调
--max_seq_length=128 # 每句话的最长长度
--train_batch_size=6 # 调小
--learning_rate=2e-5 # 学习率
--num_train_epochs=3.0 # 学习用1-3
--output_dir=../GLUE/output # 保存训练模型的位置

三、提示‘utf-8’编码错误

将第二步的配置修改好后，就不会报错了。第二步的配置一定不能复制官网原文，要结合自身的文件结构修改。

四、提示没有contrib

提示：module 'tensorflow.compat.v1' has no attribute 'contrib'

我们都知道这是因为tensorflow版本的问题，所以最好的解决方法是去tensorflow的官网去查看对应的函数改版前后的变化。
tensorflow官网
https://tensorflow.google.cn/guide/migrate/tpu_estimator

在官网中给的案例看来，
原本的tf.contrib.tpu已经转变成tf.estimator.tpu；
原本的tf.contrib.data已经转变为tf.data.experimental.map_and_batch；
原本的tf.contrib.layers.layer_norm已经转变为tf.keras.layers.LayerNormalization()；
但此时发现一件裂开的事，tf.contrib.layers.layer_norm方法和tf.keras.layers.LayerNormalization()方法当中的参数完全不一样，不进行简单的替换。

综合考虑之后，决定卸载原来的tensorflow，降至低版本

卸载

pip uninstall tensorflow

重新下载低版本的tensorflow
https://github.com/tensorflow/tensorflow/tags?after=v2.2.0-rc0


此时又发现一件裂开的事：tensorflow1.X的版本最高只支持Python3.7，因此我需要装Python3.7。。。

经过一顿操作，最终选择了1.15.0版本的tensorflow。

pip install D:\Anaconda\conda3.7\Scripts\tensorflow-1.15.3-cp37-cp37m-win_amd64.whl

将Pycharm中的解释器进行更换。

终于可以运行了！！！

CPU已经跑满了