Pytorch 中文语言模型（Bert/Roberta）进一步预训练（further pretrain）

1.Motivation

Bert是在大规模的语料下进行MLM训练得到的结果。然而，在具体的任务下，再在自己新的数据集进行finetune的效果并不会特别好。因此，需要利用domain内的语料对Bert预训练模型进行进一步的MLM训练，也就是further pretrain/ repretrain，与此相关的论文有ACL2020论文《Don’t Stop Pretraining 》，也有一篇将主题模型与bert相结合做semantic matching的工作，它们的目的都是提升Bert在target domain的效果。

2.相关链接

主要参考以下链接

1. Pytorch中文语言模型bert预训练代码
2. 旧版本transformer官方再训练链接
3. 新版本transformer官方再训练链接

按照链接1上的说明进行操作，我没有将代码跑通，主要是版本问题和Out of memory 问题。于是，尝试链接3下的官方链接，但是也失败了，数据预处理过程就出现了问题，因为服务器不能访问dataset 库里面提供的text.py外网链接，后来通过copy的方式将text.py 文件保存在本地解决了该问题，但是后面又出现了0 sample的问题、index出界的问题，根源还是数据的预处理过程，这样搞了一天，我也服了我自己。最后，还是根据链接1，重新debug，至少它的数据处理没问题，将代码跑通。

3. 具体步骤

3.1 依赖项

务必安装以下版本的transformer，其他版本不保证，至少最新的我试过不行。

transformers==3.0.2
torch = 1.4.0

3.2 数据格式

我的数据格式如下：

每一行就是一条数据，数据之间没有空一行，注意此数据格式对应的参数--line_by_line应该设置为True

若数据格式为：

每一行就是一条数据，数据之间有空一行，注意此数据格式对应的参数--line_by_line应该设置为False。这种数据我没有尝试过，我猜的是设置为False，哈哈哈哈

3.3 代码运行

run_language_model_bert.py 具体代码见附录
运行命令：

python run_language_model_bert.py     --output_dir=further_pretrain_sentiment     --model_type=roberta--model_name_or_path=robert_pretrain_model     --do_train     --train_data_file=train_sentiment_500k.txt     --mlm --per_device_train_batch_size=32    --line_by_line    --overwrite_output_dir    --block_size=128

参数说明：

1. output_dir :输出路径，训练结束后，该文件夹下会保存训练之后的文件，包括pytorch_model.bin、vocab.txt、config.json等等
2. model_type：设置为bert或者roberta
3. model_name_or_path：原始的Bert/Roberta模型路径，我这里是robert_pretrain_model
4. do_train ：训练的Flag
5. train_data_file ：自己的训练语料路径，我的文件是与代码在同一路径下的train_sentiment_500k.txt
6. do_eval ：验证的Flag，为了节省时间，我没有进行验证，可以自己选择
7. eval_data_file ：自己的验证语料路径，在验证flag为True的情况下
8. mlm：我们要做的就是MLM训练，因此设置为True
9. per_device_train_batch_size: 训练时，每个gpu上运行的batch 大小，根据自己情况进行设置，我这里GPU共2张卡，每张卡16GB，我设置的大小为32
10. line_by_line: 根据自己的语料格式，自行选择，若每两条数据之间没有空一行，务必设置为True
11. overwrite_output_dir:是否覆盖output_dir下已有的文件。若不设置为True，输出路径下有文件时，代码会停止运行，给人提示。自己依情况选择
12. block_size :若设置为-1，则会取语料中句子的最大长度 与 512 之间的较小值。一般语料句子最大长度都比较长，因此会很大，则会造成out of memory现象，即使再减小batch_size也无济于事，之前就是因为这个问题，解决了很久，最后看代码、问师兄才解决，我一看out of memory，就减小batch_size，然而并没有什么用。因此，务必自己设定一个句子长度最大值，我这里是128.

4. 结果

4.1 完整的目录结构

其中，cached_lm_BertTokenizer_1000000000000000019884624838654_train.txt等类似文件是代码运行数据预处理之后产生的。

4.2 训练过程

原始代码会自动调用多GPU，我设置了让它只调用0号GPU.
先运行：export CUDA_VISIBLE_DEVICES=0
再运行 3.3命令行
下图显示的是--per_device_train_batch_size=128 、--block_size=64 0 号 GPU使用情况：

4.3 训练结果

训练结果保存在指定的 output_dir下，训练结束后，该文件夹下生成以下文件：

若设置了do_eval 验证的Flag，该文件夹下还应有验证的结果保存文件eval_results_lm.txt

5 .附录

run_language_model_bert.py代码如下：

# coding=utf-8
# Copyright 2018 The Google AI Language Team Authors and The HuggingFace Inc. team.
# Copyright (c) 2018, NVIDIA CORPORATION.  All rights reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
"""
Fine-tuning the library models for language modeling on a text file (GPT, GPT-2, CTRL, BERT, RoBERTa, XLNet).
GPT, GPT-2 and CTRL are fine-tuned using a causal language modeling (CLM) loss. BERT and RoBERTa are fine-tuned
using a masked language modeling (MLM) loss. XLNet is fine-tuned using a permutation language modeling (PLM) loss.
"""


import logging
import math
import os
import torch
from dataclasses import dataclass, field
from typing import Optional

from transformers import (
    CONFIG_MAPPING,
    MODEL_WITH_LM_HEAD_MAPPING,
    AutoConfig,
    AutoModelWithLMHead,
    AutoTokenizer,
    DataCollatorForLanguageModeling,
    HfArgumentParser,
    LineByLineTextDataset,
    PreTrainedTokenizer,
    TextDataset,
    Trainer,
    Trainer,
    TrainingArguments,
    set_seed,
)


logger = logging.getLogger(__name__)


MODEL_CONFIG_CLASSES =