近期项目用到了 Transformers。然而,配置过程中发生了不少问题,好在通过查阅各种论坛(CSDN,Github Issues, Huggingface Discuss, StackOverflow …),最后都解决了。
在这里将问题记录一下,方便后面大家配置。
1. OSError: Unable to load weights from pytorch checkpoint file
这个问题,是最最难解决的。
我解决这个问题主要经过了三个过程:
1.1 网络连接问题
直接使用 Transformers 提供的方法,很容易发生这个问题。
-
例如,通过下列代码加载模型:
-
from transformers import AutoTokenizer, AutoModelForQuestionAnswering tokenizer