使用bert-base-uncased时,需要如下四个文件:
使用RoBERTa时候报错:TypeError: not NoneType
报错表示在路径下没有需要的文件,Roberta比Bert要多一个文件merges.txt,下载放到目录中。
from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained(file_dir)
参考:
Transformer使用RobertaTokenizer时解决TypeError: not NoneType-pudn.com
下载文件地址: