bert 环境搭建之Pytorch&Transformer 安装

这两天跑以前的bert项目发现突然跑不了,报错信息如下: 

Step1 transformer 安装

RuntimeError: Failed to import transformers.models.bert.modeling_bert because of the following error (look up to see its traceback):
module 'signal' has no attribute 'SIGKILL'

通过查找信息发现我的transformer 版本太高了 已经4.24了(前几天做了OpenAI的东西,结果把transformer升级了,所以每做一个项目,最好重新建立一个环境),

所以我想把transformer降到3.0。于是直接pip install transformer ==3.00,但是又失败了。失败信息如下:

error: can't find Rust compiler
      
    If you are using an outdated pip version, it is possible a prebuilt wheel is available for this package but pip is not able to install from it. Installing from the wheel would avoid the need for a Rust compiler.
简单看了一下就是没有Rust

所以,我又上官网安装了 Rust (安装 Rust - Rust 程序设计语言 (rust-lang.org)),以为这次肯定成功,然后又pip install transformer ==3.00,结果又报错:

this version of Cargo is older than the `2021` edition, and only supports `2。

到这里我想了一下,以前安装transformer 没有那么麻烦,至少肯定没有用到Rust, 所以我猜测我的python=3.9也是太高了,所以又重新建立python=3.7的环境。

直接pip install transformer ==3.00 终于成功了!

Step2 Pytorch 安装

理论上很简单直接,官方Start Locally | PyTorch

conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia

复制这段文字安装,但是发现实在太慢了,后来又用网上介绍的用清华镜像,但是这样安装速度也不是很快,而且下载Pytorch 没有GPU ,具体原因为啥不知道,理论上是可以的。

所以最后直接找到 https://download.pytorch.org/whl/torch/

下载了适合的版本,这样下载很快们都是10M/S

 写这篇文章主要问题就是记住这个下载的网址

<think>嗯,用户现在问的是如何安装pytorch-transformer。之前他们遇到了一个关于transformers库中cached_path的导入错误,我之前已经给过解决方法。现在这个问题看起来可能和安装有关,或者他们可能混淆了不同的库名。 首先,我需要确定用户到底想安装什么。因为“pytorch-transformer”这个名字可能有几种情况。一种是用户可能指的是Hugging Face的Transformers库,这个库通常被称为transformers,并且支持PyTorch。另一种可能是用户看到了某个旧的库名或者拼写错误。也有可能存在一个独立的名为pytorch-transformer的库,但不太常见。 先检查一下,Hugging Face的Transformers库的正确名称是transformers安装命令是pip install transformers。而pytorch-transformer可能是一个旧的名称,或者用户可能混淆了。例如,在早期的版本中,可能有过不同的命名方式,但现在标准名称是transformers。 另外,用户之前的问题中提到了ImportError,可能他们在尝试安装旧版本时遇到了问题,或者环境配置有误。现在他们可能想重新安装,或者正确安装所需的库。 我需要考虑用户可能的错误,比如拼写错误,所以应该指出正确的库名是transformers,并提供安装命令。同时,考虑到他们之前的环境问题,可能需要提醒他们激活正确的conda环境,并确认安装的位置是否正确。 另外,用户可能需要安装PyTorch作为依赖项,所以需要分步骤说明:先安装PyTorch,再安装transformers。因为PyTorch有不同的版本(CPU、CUDA等),可能需要根据用户的情况选择合适的命令。 还有可能用户在使用某个特定的代码或教程,该教程提到了pytorch-transformer,但实际上应该安装transformers。这时候需要建议用户检查文档,确认正确的库名。 总结下来,我需要先纠正可能的拼写错误,指出正确的库名,然后给出安装步骤,包括PyTorch安装transformers安装,同时提醒环境激活和版本选择的问题。此外,可能需要提到安装后验证的方法,比如导入库来测试是否成功。</think>以下是 **PyTorch-Transformer** 的安装方法及注意事项: -- ### **1. 确认库的名称** - **常见误解**: - `pytorch-transformer` 可能指以下两种情况: 1. **Hugging Face Transformers**:主流的自然语言处理库(官方名称为 `transformers`,支持 PyTorch)。 2. **旧版 PyTorch 原生 Transformer 模块**:PyTorch 1.0+ 已内置 `torch.nn.Transformer`,无需额外安装。 - **重要区别**: - 如果你需要的是 **Hugging Face Transformers**(如 BERT、GPT 等预训练模型),正确库名为 `transformers`。 - 如果代码中直接使用 `import torch.nn.Transformer`,则只需安装 PyTorch。 --- ### **2. 安装 Hugging Face Transformers** 若目标库是 **Hugging Face Transformers**(推荐): #### **步骤 1:安装 PyTorch** Transformers 依赖 PyTorch,需先安装匹配版本: ```bash # 根据系统选择 PyTorch 安装命令(以最新版为例) # CPU 版本: pip install torch==2.1.0 # CUDA 11.8 版本(支持 NVIDIA GPU): pip install torch==2.1.0 --index-url https://download.pytorch.org/whl/cu118 ``` #### **步骤 2:安装 Transformers** ```bash pip install transformers ``` #### **验证安装** ```python from transformers import pipeline print(pipeline('sentiment-analysis')('I love Hugging Face!')) # 输出应类似:[{'label': 'POSITIVE', 'score': 0.9998}] ``` -- ### **3. 使用 PyTorch 内置 Transformer 模块** 若需直接使用 PyTorchTransformer 层(如 `nn.Transformer`): - **无需额外安装**:PyTorch 1.0+ 已原生支持。 - **验证是否可用**: ```python import torch transformer = torch.nn.Transformer(d_model=512, nhead=8) print(transformer) ``` --- ### **4. 解决常见安装问题** #### **问题 1:环境冲突** - **现象**:`pip install transformers` 时报错。 - **解决**:建议使用虚拟环境隔离依赖: ```bash # 创建并激活 Conda 环境(示例) conda create -n transformers_env python=3.9 conda activate transformers_env pip install torch transformers ``` #### **问题 2:网络超时** - **现象**:下载中断或速度慢。 - **解决**:使用国内镜像源: ```bash pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple ``` #### **问题 3:版本不匹配** - **现象**:代码依赖旧版 Transformers。 - **解决**:指定版本安装: ```bash pip install transformers==4.30.0 # 以 4.30.0 为例 ``` --- ### **5. 扩展:安装开发版** 若需使用最新功能(可能不稳定): ```bash pip install git+https://github.com/huggingface/transformers ``` --- ### **总结** - 明确目标库是 `transformers`(Hugging Face)还是 PyTorch 内置模块。 - 优先使用虚拟环境避免依赖冲突。 - 根据是否需要 GPU 支持选择 PyTorch 版本。 如有其他具体需求,可提供更多上下文进一步解答!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值