# tokenizer = BertTokenizer.from_pretrained(model_path)
tokenizer(raw_input, **kwargs)
1.出现上述问题可能是因为安装的transformers版本太低,低于3.0.0版本不能直接使用
2.解决方法
先将旧版本删除,再安装3.0.0以上的版本即可
pip install transformers==3.4.0
3.如果出现下面的问题ERROR: Could not build wheels for tokenizers, which is required to install pyproject.toml-based projects
直接执行下面的语句试试
pip install transformers
最后,希望对大家有帮助。