报错:Failed to build tokenizers / # ERROR: Could not build wheels for tokenizers, which is required to

在尝试安装tokenizers时遇到错误Failedtobuildtokenizers。首先尝试升级pip和wheel,但未成功。接着降低pip版本至18.1,有所改善但仍有问题。最后,通过运行rustup安装脚本并安装transformers=2.5.1成功解决问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

报错:Failed to build tokenizers /

ERROR: Could not build wheels for tokenizers, which is required to install pyproject.toml-based projects

在安装tokenizers出现报错:
在这里插入图片描述
然后去网上找各种解决方法,参考链接:ERROR:
原文作者原先是使用miniconda进行安装的时候报错的,但是换用conda以后就成功了,有条件的可以试试。

尝试了其中第一个方法:对pip以及wheel进行更新,pip install --upgrade pip setuptools wheel
很多人评价可以实现,但是我尝试了,还是会有一样的报错。(虽然原文作者的pip版本较低,但是好像也是不行);

于是开始尝试第二种方法:对pip进行降低版本处理 pip install pip==18.1,结果较之前更好,但是仍然会报错,应该是wheel的版本和pip不相匹配造成的结果,但是我更想尝试其他方法,所以开始尝试第三种方法;
在这里插入图片描述
链接:这个
该方法能够成功安装tokenizers,具体原因不明。

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
. ~/.bashrc #重启终端
pip install transformers==2.5.1
评论 12
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值