Bert tokenizer新增token

transformers库的BertTokenizer新增token

在与vocab.txt同级的地方新建added_tokens.json,写入以下内容：

{
   
	"[X_SEP]":12345,
	"[SEN_SEP]":1
}

key值是token，value值为该token对应的id。

如上所示，tokenizer.encode('[X_SEP][SEN_SEP]'), 得到的结果是[12345,1]

Tokenizers库的一些操作

如果对tokenize和encode的性能有要求，建议使用tokenizers库 【更新：现在transformers库已经使用rust编写的tokenziers了，不必大费周章了】

>>>from tokenizers import BertWordPieceTokenizer
>>>tokenizer = BertWordPieceTokenizer('path/to/vocab.txt')
>>><