项目场景:
安装python的tokenizers包:
问题描述
报错:pip版本低,无法编译
升级pip和setuptools之后依旧不行
pip install --upgrade setuptools
pip install --upgrade pip
解决方案:
只能按照按照官网步骤安装https://pypi.org/project/tokenizers/:
- 由于pip无法安装,只能安装rust
- 下载git,打开git bash
- 我的电脑中已经安装了Visual Studio C++ build tools安装rust,在git bash中输入以下命令
curl https://sh.rustup.rs -sSf | sh -s -- -y
export PATH="$HOME/.cargo/bin:$PATH"
- 打开电脑的命令提示窗口(cmd),输入
cargo -V
cargo -V
显示版本信息 - 下载
https://github.com/huggingface/tokenizers
代码包 - 依旧是在cmd中,激活已有的anaconda的虚拟环境(注意:并不是在Anaconda Prompt激活环境)
- 进入已有的Anaconda环境,使用
activate 环境路径
- 进入之前下好的tokenizers包路径,我的在F盘
进入F盘之后
cd F:\Material\Curricula\安装包\tokenizers-main\bindings\python
- 继续按照官网步骤,执行一下两个命令
# Install `tokenizers` in the current virtual env
pip install setuptools_rust
python setup.py install
在这里卡住了,在关闭窗口,重新执行python setup.py install
-
安装成功