使用未标注的数据训练BERT

最新推荐文章于 2023-05-06 13:28:59 发布

SU_ZCS

最新推荐文章于 2023-05-06 13:28:59 发布

阅读量869

点赞数

文章标签： bert nlp 自然语言处理

本文链接：https://blog.csdn.net/zcs2632008/article/details/125678100

版权

BERT开源代码：GitHub - google-research/bert: TensorFlow code and pre-trained models for BERT。

该链接中给出了训练示例sample_text.txt，文本如下：

上述是每行一个句子，文档之间有空行。

①执行命令得到预训练数据：

python create_pretraining_data.py \
  --input_file=sample_text.txt \
  --output_file=tf_examples.tfrecord \
  --vocab_file=BERT_BASE_UNCASED_DIR/vocab.txt \
  --do_lower_case=True \
  --max_seq_length=128 \
  --max_predictions_per_seq=20 \
  --masked_lm_prob=0.15 \
  --random_seed=12345 \
  --dupe_factor=5




vocab_file：词表的位置，这里使用的是BERT_BASE_UNCASED（安装参考https://blog.csdn.net/zcs2632008/article/details/125672908?spm=1001.2014.3001.5502）

max_seq_length：序列最大长度
max_predictions_per_seq：进行掩码的最大数量（序列最大长度*掩码率）
masked_lm_prob：掩码率

②训练BERT

执行命令：

python run_pretraining.py \
  --input_file=tf_examples.tfrecord \
  --output_dir=pretraining_output \
  --do_train=True \
  --do_eval=True \
  --bert_config_file=BERT_BASE_UNCASED_DIR/bert_config.json \
  --init_checkpoint=BERT_BASE_UNCASED_DIR/bert_model.ckpt \
  --train_batch_size=32 \
  --max_seq_length=128 \
  --max_predictions_per_seq=20 \
  --num_train_steps=20 \
  --num_warmup_steps=10 \
  --learning_rate=2e-5

得到结果：

global_step = 20
loss = 0.35468453
masked_lm_accuracy = 0.9327252
masked_lm_loss = 0.35498306
next_sentence_accuracy = 1.0
next_sentence_loss = 0.00041163983