bert pytorch源码_一文学会Pytorch版本BERT使用

一、前言

NLPers最最最最最最常用的Pytorch版本的BERT应该就是这一份了吧：

https://github.com/huggingface/pytorch-pretrained-BERT

这份是刚出BERT的时候出的，暂且叫它旧版。

这是博主在学习使用旧版的时候粗略记过的一些笔记：

https://blog.csdn.net/ccbrid/article/details/88732857

随着BERT的出现，更多的预训练模型(BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet, CTRL...)也如雨后春笋般涌出

Hugging Face的这款BERT工具也在不管的更新迭代迭代迭代 (｡ì _ í｡)

现在已经改名叫transformers啦

本文是针对于新版的学习👇

二、BERT相关网址

BERT论文：

https://arxiv.org/abs/1810.04805

Google_BERT代码(tensorflow)：

https://github.com/google-research/bert

Pytorch版本的BERT：

https://github.com/huggingface/transformers

(本文记录该工具的使用)

该工具使用文档：

https://huggingface.co/transformers/

BERT部分使用文档：

https://huggingface.co/transformers/model_doc/bert.html#bertmodel

优化器部分使用文档：

https://huggingface.co/transformers/main_classes/optimizer_schedules.html

快速浏览版：

https://github.com/huggingface/transformers#quick-tour

三、安装步骤

1.  要求Python 3.5+, PyTorch 1.0.0+ 或 TensorFlow 2.0.0-rc1

2. 推荐使用虚拟环境 例如：

(可以使用conda env list 查看已有虚拟环境)

conda create -n transformers python=3.6source activate transformers

3. 首先安装TensorFlow 2.0 and/or PyTorch

(本文PyTorch)

安装PyTorch可访问网址：https://pytorch.org/get-started/locally/#start-locally

在该网址上选择对应的安装环境，可以直接得到如下安装命令：

例如：

conda install pytorch torchvision cudatoolkit=10.1 -c pytorch

由于博主本机的cuda不支持1.4的torch，所以重新安装torch版本。

pip install torch==1.2.0 torchvision==0.4.0 -f https://download.pytorch.org/whl/torch_stable.html

4. 正式安装transformers

pip install transformers

5. (此步可省略)下到本地方便查看源码

git clone https://github.com/huggingface/transformers.git

四、使用方法

1. 必备import

from transformers import BertTokenizer, BertModel, BertForMaskedLM

2. 数据的处理

我们知道，在BERT的输入中，cls是一个，sep是大于等于一个。'[CLS]'必须出现在样本段落的开头，一个段落可以有一句话也可以有多句话，每句话的结尾必须是'[SEP]'。

例如：['[CLS]', 'this', 'is', 'blue', '[SEP]', 'that', 'is', 'red', '[SEP]']

我们需要对输入BERT的数据进行处理

例如：

words = [self.CLS_TOKEN] + words + [self.SEP_TOKEN]

3. Tokenizer

调用tokenizer，使用tokenizer分割输入，将tokens转为ids。如下：

self.bert_tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')words = self.bert_tokenizer.tokenize(''.join(words))feature = self.bert_tokenizer.convert_tokens_to_ids(sent + [self.PAD_TOKEN for _ in range(max_sent_len - len(sent))])

如果觉得BERT给的token不够用，或希望在BERT给的token中加入自己的token，加入以下代码即可：

例如，想要加入大写字母：

self.bert_tokenizer.add_tokens([chr(i) for i in range(ord("A"), ord("Z") + 1)])args.len_token = len(self.bert_tokenizer)

此处使用了len_token记录self.bert_tokenizer新的token大小，因为要对模型进行更新。

4. 模型使用

调用BertModel，因为改变了tokenizer所以对模型的token参数进行更新，然后就可以正常使用BERT-Model啦！

self.BertModel = BertModel.from_pretrained('bert-base-chinese')# 加入了A-Z，重新resize一下大小self.BertModel.resize_token_embeddings(self.args.len_token)outputs = self.BertModel(input_ids=ii, token_type_ids=tti, attention_mask=am)

注：

5.

本文使用了预训练模型bert-base-chinese做例子，其余的预训练模型具体可参考：https://github.com/google-research/bert

6.

若想对Bert进行fine-tuning，如果存在out-of-memory的问题，可能会用到GPU并行：

self.BertModel = nn.DataParallel(self.BertModel, device_ids=args.bert_gpu_ids, output_device=torch.cuda.current_device())

作者：西柚媛

编辑：西柚媛

推荐阅读：

投稿、交流&合作 欢迎扫码进群

记得备注 “昵称-学校(公司)”呦~

点点在看

帮小编保住饭碗👇