小白入门:
pytorch中调用第三方库,函数的调用,有时候需要理解函数的作用,这时我们需要查找源码。
可是,如何查找源码??
from pytorch_transformers import XLNetModel, XLNetTokenizer
tokenizer = XLNetTokenizer.from_pretrained('/workplace/data/xlnet/spiece.model')
从以上代码中,我们可以看出,从第三方库——pytorch_transformers导出XLNetModel模块和XLNetTokenizer模块。
第一步:
GitHub上查找pytorch_transformers项目
进入:pytorch_transformers文件夹。
进入tokenization_xlnet.py文件中。
我们发现该文件中并没有from_pretrained()函数,这时候我们需要去基类中查找该函数。
接下来,我们需要去父类——pretrainedtokenizer函数的位置。