扩充Bert字典

含API的文档句子 经过Bert的token被切开

将特殊领域的词汇作为特殊token加入bert原有的字典
Bert原字典大小3w＋ 预留了1k左右的空位但不够用
试图将API加进去 但是6w+过多

tokenizer =AutoTokenizer.from_pretrained(model_args.model_name_or_path)
zidian = tokenizer.get_vocab()

with open('res/entities.txt') as f:
    for line in f:
        entity,en_type=line.strip().split(',')
        tokenizer.add_tokens([entity])

model.resize_token_embedding(len(tokenizer))

tokenizer.save_pretrained(model_args.model_name_or_path)
zidian_new=tokenizer.get_vocab()

超内存了怎么解决呢？

先试一下改配置文件