成功解决RuntimeError: Failed to import transformers.models.llama.tokenization_llama_fast because of the

成功解决RuntimeError: Failed to import transformers.models.llama.tokenization_llama_fast because of the following error (look up to see its traceback): tokenizers>=0.13.3 is required for a normal functioning of this module, but found tokenizers==0.12.1

目录

解决问题

解决思路

解决方法

T1、pip命令

T2、conda命令

---

解决问题

RuntimeError: Failed to import transformers.models.llama.tokenization_llama_fast because of the following error (look up to see its traceback): tokenizers>=0.13.3 is required for a normal functioning of this module, but found tokenizers==0.12.1.

 

解决思路

运行时错误:导入transformer .models.llama失败。Tokenization_llama_fast，因为以下错误(查找查看其追溯):tokenizers>=0.13.3是该模块正常运行所必需的，但发现tokenizers==0.12.1。

解决方法

你使用的transformers库版本与所需的tokenizers版本不匹配导致的。根据错误消息，你的transformers版本要求tokenizers版本至少为0.13.3，但你安装的是0.12.1版本。

T1、pip命令

pip install --upgrade tokenizers

 

T2、conda命令

可以运行以下命令

conda install -c huggingface tokenizers