上一篇文章介绍了 Google 最新的BERT (Bidirectional Encoder Representations from Transformers) ,这个模型在 11 个 NLP 任务上刷新了纪录。
Google 还开源了 BERT 的代码:https://github.com/google-research/bert
大家可以下载在维基百科语料上使用 TPU 预训练好的模型,包括中文 BERT 预训练模型。
BERT 模型的训练分为**预训练(Pre-training)和微调(Pre-training)**两步。
预训练过程耗时又耗钱,Google 对 BERT 的预训练一般需要 4 到 16 块 TPU 和一周的时间才可以完成。幸好多数情况下我们可以使用 Google 发布的预训练模型,不需要重复构造,
微调时可以根据不同的任务,对模型进行相应的扩展,例如对句子进行情感分类时,只需要在 BERT 的输出层的句向量上面加入几个 Dense 层。所以可以固定 BERT 的参数,将它的输出向量当做一个特征用于具体任务。
那么要如何应用 BERT 呢?
这里介绍一下 bert-as-service ,项目地址:https://github.com/hanxiao/bert-as-service
这个项目将预训练好的 BERT 模型作为一个服务独立运行,很简单地用几行代码就可以调