【通义千问】Qwen从本地加载分词器报错‘‘tokenizer class not exist‘‘的解释和处理办法

大表哥汽车人

已于 2023-10-10 10:00:24 修改

阅读量7.3k

点赞数 2

分类专栏：人工智能、大语言模型学习笔记 Transformers HuggingFace 文章标签：学习笔记人工智能语言模型深度学习

于 2023-10-08 13:08:42 首次发布

本文链接：https://blog.csdn.net/weixin_46481662/article/details/133674104

版权

人工智能、大语言模型学习笔记同时被 3 个专栏收录

28 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

HuggingFace

6 篇文章

订阅专栏

Transformers

5 篇文章

订阅专栏

在尝试使用Hugging Face的`from_pretrained`加载Qwen模型的分词器时，遇到'Tokenizer class QWenTokenizer does not exist'的错误。错误源于`trust_remote_code`参数未设置为`True`。通过设置`trust_remote_code=True`，可以加载并执行Hugging Face Hub上的自定义代码。然而，这样做存在安全风险，仅应在完全信任模型代码的情况下进行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要：

在尝试将模型文件从 [Hugging Face Model Hub](https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main) 下载到本地并使用 `from_pretrained` 方法加载本地磁盘上的分词器时，遇到了一个错误。错误源自 `tokenization_auto.py` 文件，提示 "Tokenizer class QWenTokenizer does not exist or is not currently imported." 这意味着 `QWenTokenizer` 这个 tokenizer 类不存在，或者没有被当前程序导入。

错误的根源在于使用 `from_pretrained` 方法时没有包含 `trust_remote_code=True` 参数。这个参数是用于指定用户是否信任从 Hugging Face 模型库中下载的代码。

通过添加 `trust_remote_code=True` 参数，用户可以成功加载和使用 `QWenTokenizer`。这是因为这个参数允许执行存储在 Hugging Face Hub 上的自定义模型代码。但需要注意的是，这个操作应该谨慎进行，只有在用户完全信任并已经检查确认代码是安全的情况下，才应该设置 `trust_remote_code` 为 `True`，以防止潜在的安全风险。