BERT TensorFlow 训练和调试 （shell）

内存60G，20核

max_seq_length 和 train_batch_size 再大会OOM

 

训练和验证shell

export DATA_DIR='/xx/xx/bert'
export BERT_BASE_DIR='/xx/xx/chinese_L-12_H-768_A-12'
python run_classifier.py \
    --task_name=organ_grid \
    --do_train=true \
    --do_eval=true \
    --data_dir=$DATA_DIR/ \
    --vocab_file=$BERT_BASE_DIR/vocab.txt \
    --bert_config_file=$BERT_BASE_DIR/bert_config.json \
    --init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt \
    --max_seq_length=200 \
    --train_batch_size=100 \
    --learning_rate=2e-5 \
    --num_train_epochs=1.0 \
    --output_dir='/xx/xx/xx/organizer_bert'

 

预测 shell  注意预测路径和训练路径的关系

export DATA_DIR='/xx/xx/bert'
export BERT_BASE_DIR='/data/tony/chinese_L-12_H-768_A-12'
python run_classifier.py \
  --task_name=organ_grid_6 \
  --do_predict=true \
  --data_dir=$DATA_DIR/ \
  --vocab_file=$BERT_BASE_DIR/vocab.txt \
  --bert_config_file=$BERT_BASE_DIR/bert_config.json \
  --init_checkpoint='/xx/xx/xx/organizer_bert' \
  --max_seq_length=200 \
  --output_dir='/xx/xx/xx/xx_predict'