使用BERT预训练模型+微调进行文本分类

本文记录使用BERT预训练模型，修改最顶层softmax层，微调几个epoch，进行文本分类任务。

BERT源码

首先BERT源码来自谷歌官方tensorflow版：https://github.com/google-research/bert

注意，这是tensorflow 1.x 版本的。

BERT预训练模型

预训练模型采用哈工大讯飞联合实验室推出的WWM(Whole Word Masking)全词覆盖预训练模型，主要考量是BERT对于中文模型来说，是按照字符进行切割，但是注意到BERT随机mask掉15%的词，这里是完全随机的，对于中文来说，很有可能一个词的某些字被mask掉了，比如说让我预测这样一句话：

原话： ”我今天早上去打羽毛球了，然后又去蒸了桑拿，感觉身心愉悦“

MASK：”我[MASK]天早上去打[MASK]毛球了，然后[MASK]去蒸了[MASK]拿，感觉身心[MASK]悦“

虽然说从统计学意义上来讲这样做依然可以学得其特征，但这样实际上破坏了中文特有的词结构，那么全词覆盖主要就是针对这个问题，提出一种机制保证在MASK的时候要么整个词都不MASK，要么MASK掉整个词。

WWM MASK：”我今天早上去打[MASK][MASK][MASK]了，然后又去蒸了[MASK][MASK]，感觉身心愉悦“

例子可能举得不是很恰当，但大概是这个意思，可以参考这篇文章：

https://www.jiqizhixin.com/articles/2019-06-21-01

修改源码

首先看到下下来的项目结构：

 

可以看到run_classifier.py文件，这个是我们需要用的。另外，chinese开头的文件是我们的模型地址，data文件是我们的数据地址，这个每个人可以自己设置。

在run_classifier.py文件中，有一个基类DataProcessor类，这个是我们需要继承并重写的:

class DataProcessor(object):
  """Base class for data converters for sequence classification data sets."""

  def get_train_examples(self, data_dir):
    """Gets a collection of `InputExample`s for the train set."""
    raise Not