这里只说一下我的解决方法.
我是在第三方库transformers中出现的这个问题.所以肯定不是代码的问题
然后经过我的思考和搜索,发现transformers和tokenizers的版本需要互相匹配,于是我在pip安装tokenizers时关注到了transformers要求的版本,修改过来就可以正常运行了
这里只说一下我的解决方法.
我是在第三方库transformers中出现的这个问题.所以肯定不是代码的问题
然后经过我的思考和搜索,发现transformers和tokenizers的版本需要互相匹配,于是我在pip安装tokenizers时关注到了transformers要求的版本,修改过来就可以正常运行了