一文学会Pytorch版本BERT使用

一、前言：

coder们最常用的Pytorch版本的BERT应该就是这一份了吧 https://github.com/huggingface/pytorch-pretrained-BERT 

这份是刚出BERT的时候出的，暂且叫它旧版

这是博主在学习使用旧版的时候粗略记过的一些笔记：https://blog.csdn.net/ccbrid/article/details/88732857

随着BERT的出现，更多的预训练模型(BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet, CTRL...)也如雨后春笋般涌出，Hugging Face的这款BERT工具也在不管的更新迭代

本文是针对于新版的学习👇

 

二、BERT相关网址

BERT论文：https://arxiv.org/abs/1810.04805

Google_BERT代码（tensorflow）：https://github.com/google-research/bert 

Pytorch版本的BERT：https://github.com/huggingface/transformers（本文记录该工具的使用）

该工具使用文档：https://huggingface.co/transformers/

BERT部分使用文档：https://huggingface.co/transformers/model_doc/bert.html#bertmodel

优化器部分使用文档：https://huggingface.co/transformers/main_classes/optimizer_schedules.html

快速浏览版：https://github.com/huggingface/transformers#quick-tour

 

三、安装步骤

1. 要求Python 3.5+, PyTorch 1.0.0+ 或 TensorFlow 2.0.0-rc1

2. 推荐使用虚拟环境 例如：

conda create -n transformers python=3.6

source activate transformers

（conda env list 查看已有虚拟环境）

3. 首先 you need to install one of, or both, TensorFlow 2.0 and PyTorch. （本文PyTorch）

安装PyTorch可访问网址：https://pytorch.org/get-started/locally/#start-locally

在该网址上选择对应的安装环境，可以直接得到如下命令：

conda install pytorch torchvision cudatoolkit=10.1 -c pytorch

由于博主本机cuda不支持1.4的torch，所以重新安装

pip install torch==1.2.0 torchvision==0.4.0 -f https://download.pytorch.org/whl/torch_stable.html

4. pip install transformers

5. （此步可省略）下到本地方便查看源码 git clone https://github.com/huggingface/transformers.git

 

 

四、使用方法

 

1. 必备import

from transformers import BertTokenizer, BertModel, BertForMaskedLM

2. 数据的处理
我们知道，在BERT的输入中，cls是一个，sep是大于等于一个。'[CLS]'必须出现在样本段落的开头，一个段落可以有一句话也可以有多句话，每句话的结尾必须是'[SEP]'。
例如：['[CLS]', 'this', 'is', 'blue', '[SEP]', 'that', 'is', 'red', '[SEP]']

我们需要对输入BERT的数据进行处理
例如：

words = [self.CLS_TOKEN] + words + [self.SEP_TOKEN]

3. Tokenizer
调用tokenizer，使用tokenizer分割输入，将tokens转为ids。如下：

self.bert_tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
words = self.bert_tokenizer.tokenize(''.join(words))
feature = self.bert_tokenizer.convert_tokens_to_ids(sent + [self.PAD_TOKEN for _ in range(max_sent_len - len(sent))])

如果觉得BERT给的token不够用，或希望在BERT给的token中加入自己的token，加入以下代码即可：
例如，想要加入大写字母：

self.bert_tokenizer.add_tokens([chr(i) for i in range(ord("A"), ord("Z") + 1)])
args.len_token = len(self.bert_tokenizer)

此处使用了len_token记录self.bert_tokenizer新的token大小，因为要对模型进行更新。

4. 模型使用
调用BertModel，因为改变了tokenizer所以对模型的token参数进行更新，然后就可以正常使用BERT-Model啦！

self.BertModel = BertModel.from_pretrained('bert-base-chinese')
# 加入了A-Z，重新resize一下大小
self.BertModel.resize_token_embeddings(self.args.len_token) 
outputs = self.BertModel(input_ids=ii, token_type_ids=tti, attention_mask=am)

注：
5. 
本文使用了预训练模型bert-base-chinese做例子，其余的预训练模型具体可参考：https://github.com/google-research/bert

6. 
若想对Bert进行fine-tuning，如果存在out-of-memory的问题，可能会用到GPU并行：
self.BertModel = nn.DataParallel(self.BertModel, device_ids=args.bert_gpu_ids, output_device=torch.cuda.current_device())

GPU并行的其他注意事项小可爱们可以移步这里：Pytorch | 多GPU并行 DataParallel

---

公众号：NLP笔记屋

投稿、交流&合作 欢迎扫码进群

记得备注 “昵称-学校(公司)”呦~