tokenizers＞=0.13.3 解决方案

最新推荐文章于 2025-02-10 21:30:00 发布

M2087

最新推荐文章于 2025-02-10 21:30:00 发布

阅读量2.4k

点赞数 2

文章标签： pytorch 深度学习

本文链接：https://blog.csdn.net/M2087/article/details/131083908

版权

在云GPU运行代码时遇到tokenizers版本不兼容的问题，通过卸载旧版本0.13.2，然后使用清华源安装指定版本0.13.3的tokenizers，此方法已验证可行。如仍有问题，需寻求其他解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在云GPU跑代码时，我的tokenizers=0.13.2但是需要tokenizers>=0.13.3才行，经过测试以下可行步骤：

先卸载旧版本:

pip uninstall tokenizers

然后通过清华源下载：

pip install tokenizers==0.13.3 -i https://pypi.tuna.tsinghua.edu.cn/simple

本人测试方法可行，若不行，还请寻找其他方法

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

M2087

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

解决Python中模块需要Tokenizers版本问题

code_welike的博客

06-03

6856

近期有不少Python开发者遇到了一个问题：当他们尝试导入某些模块时，提示他们缺少Tokenizers>=0.10.0版本来进行正常的运行。这个问题并不是Python本身的问题，而是依赖库所需的Tokenizers版本问题。总之，只要按照上述步骤的其中一个进行操作，就可以轻松解决Tokenizers版本不匹配的问题。这将自动安装所有在“requirements.txt”中列出的依赖库。而在正确安装Tokenizers后，您应该能够成功导入并使用它。这将会安装最新版本的Tokenizers依赖库。

tokenizers＞=0.13.3 is required for a normal functioning of this module, but found tokenizers解决方案

weixin_43178406的博客

05-01

6万+

本文主要介绍了tokenizers>=0.13.3 is required for a normal functioning of this module, but found tokenizers==0.13.2解决方案，希望能对使用tokenizers的同学们有所帮助。文章目录 1. 问题描述 2. 解决方案

2 条评论您还未登录，请先登录后发表或查看评论

安装pip install datasets tokenizers报错

掘金者说

02-10

495

这个错误表明在使用 pip install transformers 安装时，网络连接超时了。具体来说，pip 在尝试从 Python 官方仓库下载包时遇到了网络问题，导致读取数据超时。如果你位于中国，使用默认的官方源可能会比较慢。你可以尝试使用国内的镜像源来加速安装。这个错误跟之前的类似，也是由于网络连接超时导致无法从 files.pythonhosted.org 下载所需的包。因为访问官方 PyPI 源速度较慢，可以尝试使用国内的镜像源来提高下载速度。

ImportError: tokenizers＞=0.13.3 is required for a normal functioning*** but found tokenizers==***

weixin_44162814的博客

11-08

479

pip安装的 tokenizers，确定是版本正常的，但是一致报错，然后想着应该是有另一个版本冲突了于是运行conda list命令，发现conda有一个同名的低版本的tokenizers==0.13.2，不符合要求，然后环境默认优先选择这个了，所以导致一直报错。1.问题：ImportError: tokenizers>=0.13.3 is required for a normal functioning of this module, but found tokenizers==0.13.2.

tokenizers＞=0.11.1,!=0.11.3,＜0.13 is required for a normal functioning of this module,

Home to come

06-22

5718

原因：tokenizer的版本有两个，原先安装了0.5.0（低版本）的版本，后来安装了0.12.1（高版本）的版本，但是由于某种原因，没有卸载0.5.0的版本解决办法

Tokenizers 安装失败，解决办法，降低python版本

xrwei007的博客

11-13

1650

如题，在安装gpt_academic工具时出现tokenizers 无法编译的问题。所以，python中安装软件不成功，可能就是版本不支持。最终认为可能是python3.12版本太新，不支持。因此将python 版本降低到python3.10.并且提示，没有安装rust，cargo编译器。根据提示，安装rust后，发现依旧无法编译。结果一次性编译成功！

HuggingFace - tokenizer

AI工程化、开源分享、文档翻译、代码笔记

02-26

595

关于 tokenizer 安装从零构建 tokenizer 使用预训练的 tokenizer

ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. auto-gptq 0.5.0 requires transformers>=4.31.0, but you have transformers 4.26.0 which is incompatible. llamafactory 0.9.2.dev0 requires tokenizers<=0.21.0,>=0.19.0, but you have tokenizers 0.13.3 which is incompatible. llamafactory 0.9.2.dev0 requires transformers!=4.46.*,!=4.47.*,!=4.48.0,<=4.49.0,>=4.41.2; python_version >= "3.10", but you have transformers 4.26.0 which is incompatible. trl 0.9.6 requires transformers>=4.31.0, but you have transformers 4.26.0 which is incompatible. Successfully installed tokenizers-0.13.3 transformers-4.26.0

热门推荐

weixin_43178406的博客

08-26

29万+

大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。

modis token

07-27

- *1* *2* [tokenizers＞=0.13.3 is required for a normal functioning of this module, but found tokenizers解决方案](https://blog.csdn.net/weixin_43178406/article/details/130430025)[target="_blank" data-...

Python库 | tokenizers-0.8.1rc2-cp38-cp38-win32.whl

04-04

资源分类：Python库所属语言：Python 资源全名：tokenizers-0.8.1rc2-cp38-cp38-win32.whl 资源来源：官方安装方法：https://lanzao.blog.csdn.net/article/details/101784059

tokenizers-0.20.1-cp38-cp38-manylinux_2_17_x86_64.whl

11-12

# 官方离线 whl 包 # 离线安装 whl 指令，/data/pkg/whls 为本地 whl 文件路径 pip install --no-index --find-links=/data/pkg/whls *.whl

PyPI 官网下载 | tokenizers-0.9.0-cp35-cp35m-win32.whl

01-08

资源来自pypi官网。资源全名：tokenizers-0.9.0-cp35-cp35m-win32.whl

Python库 | tokenizers-0.1.0-cp37-cp37m-macosx_10_13_x86_64.whl

04-04

资源分类：Python库所属语言：Python 资源全名：tokenizers-0.1.0-cp37-cp37m-macosx_10_13_x86_64.whl 资源来源：官方安装方法：https://lanzao.blog.csdn.net/article/details/101784059

PyPI 官网下载 | tokenizers-0.8.0-cp37-cp37m-manylinux1_x86_64.whl

02-11

资源来自pypi官网。资源全名：tokenizers-0.8.0-cp37-cp37m-manylinux1_x86_64.whl

conda更新transformers库后tokenizers库报错：与openssl版本冲突：libssl.so.10 libcrypto.so.10未找到的问题

Corleone26的博客

04-13

3585

这个问题困扰了我好几天，连夜和学长，舍友debug。

python安装tokenizers包@FreeBSD

skywalk8163的专栏

04-18

2323

tokenizers提供了当今最常用的tokenizers的实现，重点关注性能和多功能性。在FreeBSD系统python3.10下直接pip安装tokenizers报错，于是改为手动安装。

安装tokenizers拓展包

weixin_44298590的博客

04-12

5732

项目场景：安装python的tokenizers包：问题描述报错：pip版本低,无法编译升级pip和setuptools之后依旧不行 pip install --upgrade setuptools pip install --upgrade pip 解决方案：只能按照按照官网步骤安装https://pypi.org/project/tokenizers/：由于pip无法安装，只能安装rust 下载git，打开git bash 我的电脑中已经安装了Visual Studio C++