Transformers之环境安装

已于 2024-08-22 11:29:49 修改
阅读量2.6w 收藏 107
点赞数 32
分类专栏： transformers 文章标签： 深度学习 transformer nlp 人工智能
于 2024-03-18 14:16:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35215756/article/details/136806970
版权

Transformers安装指南

Transformers 提供了数以千计的预训练模型，支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。

Transformers 支持三个最热门的深度学习库： Jax, PyTorch 以及 TensorFlow — 并与之无缝整合。你可以直接使用一个框架训练你的模型然后用另一个加载和推理。

本文主要介绍安装 Transformers、设置缓存，并选择性配置 Transformers 以离线运行。

使用 pip 安装

你应该使用虚拟环境安装 Transformers。使用虚拟环境，你可以轻松管理不同项目，避免不同依赖项之间的兼容性问题。

首先，在项目目录中创建虚拟环境：

conda create -n python-transformers python=3.10

激活虚拟环境：

conda activate python-transformers

现在你可以使用以下命令安装 Transformers：

pip install transformers

若仅需 CPU 支持，可以使用单行命令方便地安装 🤗 Transformers 和深度学习库。例如，使用以下命令安装 🤗 Transformers 和 PyTorch：

pip install 'transformers[torch]'

最后，运行以下命令以检查 🤗 Transformers 是否已被正确安装。该命令将下载一个预训练模型：

python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('we love you'))"

然后打印标签以及分数：

[{'label': 'POSITIVE', 'score': 0.9998704791069031}]

源码安装

使用以下命令从源码安装 🤗 Transformers：

pip install git+https://github.com/huggingface/transformers

此命令下载的是最新的前沿 main 版本而不是最新的 stable 版本。main 版本适用于跟最新开发保持一致。运行以下命令以检查 🤗 Transformers 是否已被正确安装：

python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('I love you'))"

开发模式安装

如果你有下列需求，需要进行可编辑安装：

  • 使用源码的 main 版本。
  • 为 🤗 Transformers 贡献代码，需要测试代码中的更改。

使用以下命令克隆仓库并安装 🤗 Transformers：

git clone https://github.com/huggingface/transformers.git
cd transformers
pip install -e .

这些命令将会链接你克隆的仓库以及你的 Python 库路径。现在，Python 不仅会在正常的库路径中搜索库，也会在你克隆到的文件夹中进行查找。例如，如果你的 Python 包通常本应安装在 ~/anaconda3/envs/main/lib/python3.10/site-packages/ 目录中，在这种情况下 Python 也会搜索你克隆到的文件夹：~/transformers/。

如果你想继续使用这个库，必须保留 transformers 文件夹。

现在，你可以使用以下命令，将你克隆的 🤗 Transformers 库轻松更新至最新版本：

cd ~/transformers/
git pull

你的 Python 环境将在下次运行时找到 main 版本的 🤗 Transformers。

docker 安装

在transformers的docker目录中提供了各个版本的dockerfile文件。可以直接docker命令创建镜像。

docker build --build-arg --network host -t ai_suite:cuda12.1-torch2.1-22.04 .

启动容器。

xhost +  && docker run --gpus all --env NVIDIA_DISABLE_REQUIRE=1 -it --network=host --name transformers-container  --cap-add=SYS_PTRACE --security-opt seccomp=unconfined  -v /home:/home -v /tmp:/tmp -v /mnt:/mnt  --ipc=host -e DISPLAY=${DISPLAY} -e GIT_INDEX_FILE ai_suite:cuda12.1-torch2.1-22.04 bash

自定义dockerfile

自定义安装，主要是为了在docker中使用conda虚拟环境。

# https://docs.nvidia.com/deeplearning/frameworks/pytorch-release-notes/rel-23-11.html#rel-23-11
FROM nvcr.io/nvidia/pytorch:23.11-py3
LABEL maintainer="transformers"

ARG DEBIAN_FRONTEND=noninteractive

ARG PYTORCH='2.1.0'
# Example: `cu102`, `cu113`, etc.
ARG CUDA='cu121'

RUN apt-get update &&\
    apt-get install -y libaio-dev wget bzip2 ca-certificates curl git git-lfs unzip mlocate usbutils\
    vim tmux g++ gcc build-essential cmake checkinstall lsb-release &&\
    rm -rf /var/lib/apt/lists/* &&\
    apt-get clean

RUN python3 -m pip uninstall -y torch torchvision torchaudio torch-tensorrt transformer-engine apex

SHELL ["/bin/bash", "--login", "-c"]

RUN cd / && wget --quiet https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O /miniconda.sh && \
    /bin/bash /miniconda.sh -b -p /opt/conda &&\
    ln -s /opt/conda/etc/profile.d/conda.sh /etc/profile.d/conda.sh &&\
    echo ". /opt/conda/etc/profile.d/conda.sh" >> ~/.bashrc &&\
    /bin/bash -c "source ~/.bashrc" && \
    /opt/conda/bin/conda update -n base -c defaults conda -y &&\
    /opt/conda/bin/conda config --set ssl_verify no && \
    /opt/conda/bin/conda config --add channels conda-forge &&\
    /opt/conda/bin/conda create -n ai python=3.10

ENV PATH $PATH:/opt/conda/envs/ai/bin

RUN conda init bash &&\
    echo "conda activate ai" >> ~/.bashrc &&\
    conda activate ai &&\
    pip install --upgrade pip -i https://mirror.baidu.com/pypi/simple &&\ 
    pip config set global.index-url https://mirror.baidu.com/pypi/simple &&\
# Install latest release PyTorch
# (PyTorch must be installed before pre-compiling any DeepSpeed c++/cuda ops.)
# (https://www.deepspeed.ai/tutorials/advanced-install/#pre-install-deepspeed-ops)
    pip install --no-cache-dir -U torch==$PYTORCH torchvision torchaudio \
    --extra-index-url https://download.pytorch.org/whl/$CUDA &&\ 
    pip install -U numpy opencv-python onnx onnxoptimizer onnxruntime -i https://mirror.baidu.com/pypi/simple

ARG REF=main

RUN conda activate ai &&\
    cd &&\
    git clone https://github.com/huggingface/transformers && cd transformers && git checkout $REF &&\
    cd .. &&\
    pip install --no-cache-dir ./transformers[deepspeed-testing] &&\
    pip install --no-cache-dir git+https://github.com/huggingface/accelerate@main#egg=accelerate &&\
# recompile apex
    # pip uninstall -y apex &&\
# RUN git clone https://github.com/NVIDIA/apex
#  `MAX_JOBS=1` disables parallel building to avoid cpu memory OOM when building image on GitHub Action (standard) runners
# TODO: check if there is alternative way to install latest apex
# RUN cd apex && MAX_JOBS=1 python3 -m pip install --global-option="--cpp_ext" --global-option="--cuda_ext" --no-cache -v --disable-pip-version-check .
# Pre-build **latest** DeepSpeed, so it would be ready for testing (otherwise, the 1st deepspeed test will timeout)
    pip uninstall -y deepspeed
# This has to be run (again) inside the GPU VMs running the tests.
# The installation works here, but some tests fail, if we don't pre-build deepspeed again in the VMs running the tests.
# TODO: Find out why test fail.
RUN DS_BUILD_CPU_ADAM=1 DS_BUILD_FUSED_ADAM=1 

RUN conda activate ai &&\
    pip install deepspeed --global-option="build_ext" \
    --global-option="-j8" --no-cache -v --disable-pip-version-check 2>&1 

# When installing in editable mode, `transformers` is not recognized as a package.
# this line must be added in order for python to be aware of transformers.
RUN conda activate ai &&\
    cd &&\
    cd transformers && python3 setup.py develop

# The base image ships with `pydantic==1.8.2` which is not working - i.e. the next command fails
RUN conda activate ai &&\
    pip install -U --no-cache-dir "pydantic<2"

RUN conda activate ai &&\
    python3 -c "from deepspeed.launcher.runner import main"

RUN apt-get update &&\
    rm -rf /var/lib/apt/lists/* &&\
    apt-get clean

缓存设置

预训练模型会被下载并本地缓存到 ~/.cache/huggingface/hub。这是由环境变量 TRANSFORMERS_CACHE 指定的默认目录。在 Windows 上，默认目录为 C:\Users\username\.cache\huggingface\hub。你可以按照不同优先级改变下述环境变量，以指定不同的缓存目录。更多详情：https://huggingface.co/docs/huggingface_hub/package_reference/environment_variables

  1. 环境变量（默认）: HUGGINGFACE_HUB_CACHE 或 TRANSFORMERS_CACHE。
  2. 环境变量 HF_HOME。
  3. 环境变量 XDG_CACHE_HOME + /huggingface。
# Determine default cache directory. Lots of legacy environment variables to ensure backward compatibility.
# The best way to set the cache path is with the environment variable HF_HOME. 
#
# In code, use `HF_HUB_CACHE` as the default cache path. This variable is set by the library and is guaranteed
# to be set to the right value.
# Huggingface_hub/constants.py
from huggingface_hub import constants
default_cache_path = os.path.join(HF_HOME, "hub")
# /src/transformers/utils/hub.py
default_cache_path = constants.default_cache_path
old_default_cache_path = os.path.join(torch_cache_home, "transformers")

import os
import transformers

# datasets/src/config.py
DEFAULT_XDG_CACHE_HOME = "~/.cache"
XDG_CACHE_HOME = os.getenv("XDG_CACHE_HOME", DEFAULT_XDG_CACHE_HOME)
DEFAULT_HF_CACHE_HOME = os.path.join(XDG_CACHE_HOME, "huggingface")
HF_CACHE_HOME = os.path.expanduser(os.getenv("HF_HOME", DEFAULT_HF_CACHE_HOME))
print(HF_CACHE_HOME)

# 更改HF_HOME
os.environ["HF_HOME"] = "E:\huggingface\cache"
HF_CACHE_HOME = os.path.expanduser(os.getenv("HF_HOME", DEFAULT_HF_CACHE_HOME))
print(HF_CACHE_HOME)

除非你明确指定了环境变量 TRANSFORMERS_CACHE，🤗 Transformers 将可能会使用较早版本设置的环境变量 PYTORCH_TRANSFORMERS_CACHE 或 PYTORCH_PRETRAINED_BERT_CACHE。

离线模式

🤗 Transformers 可以仅使用本地文件在防火墙或离线环境中运行。设置环境变量 TRANSFORMERS_OFFLINE=1 以启用该行为。

通过设置环境变量 HF_DATASETS_OFFLINE=1 将 🤗 Datasets 添加至你的离线训练工作流程中。

例如，你通常会使用以下命令对外部实例进行防火墙保护的的普通网络上运行程序：

python examples/pytorch/translation/run_translation.py --model_name_or_path google-t5/t5-small --dataset_name wmt16 --dataset_config ro-en ...

在离线环境中运行相同的程序：

HF_DATASETS_OFFLINE=1 TRANSFORMERS_OFFLINE=1 \
python examples/pytorch/translation/run_translation.py --model_name_or_path google-t5/t5-small --dataset_name wmt16 --dataset_config ro-en ...

现在脚本可以应该正常运行，而无需挂起或等待超时，因为它知道只应查找本地文件。

获取离线时使用的模型和分词器

另一种离线时使用 🤗 Transformers 的方法是预先下载好文件，然后在需要离线使用时指向它们的离线路径。有三种实现的方法：

  • 单击 Model Hub 用户界面上的 ↓ 图标下载文件。

  • 使用 [PreTrainedModel.from_pretrained] 和 [PreTrainedModel.save_pretrained] 工作流程：

    1. 预先使用 [PreTrainedModel.from_pretrained] 下载文件：
    >>> from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

>>> tokenizer = AutoTokenizer.from_pretrained("bigscience/T0_3B")
>>> model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/T0_3B")
    1. 使用 [PreTrainedModel.save_pretrained] 将文件保存至指定目录：
    >>> tokenizer.save_pretrained("./your/path/bigscience_t0")
>>> model.save_pretrained("./your/path/bigscience_t0")
    1. 现在，你可以在离线时从指定目录使用 [PreTrainedModel.from_pretrained] 重新加载你的文件：
    >>> tokenizer = AutoTokenizer.from_pretrained("./your/path/bigscience_t0")
>>> model = AutoModel.from_pretrained("./your/path/bigscience_t0")

  • 使用代码用 huggingface_hub 库下载文件：

    1. 在你的虚拟环境中安装 huggingface_hub 库：
    python -m pip install huggingface_hub
    1. 使用 hf_hub_download 函数将文件下载到指定路径。例如，以下命令将 config.json 文件从 T0 模型下载至你想要的路径：
    >>> from huggingface_hub import hf_hub_download

>>> hf_hub_download(repo_id="bigscience/T0_3B", filename="config.json", cache_dir="./your/path/bigscience_t0")

下载完文件并在本地缓存后，指定其本地路径以加载和使用该模型：

>>> from transformers import AutoConfig

>>> config = AutoConfig.from_pretrained("./your/path/bigscience_t0/config.json")

请参阅 如何从 Hub 下载文件 部分，获取有关下载存储在 Hub 上文件的更多详细信息。

参考

  1. https://github.com/huggingface/transformers/blob/main/docs/source/en/installation.md
  2. https://huggingface.co/docs/huggingface_hub/package_reference/environment_variables
搭建transformers环境
weixin_45405066的博客
02-06 3451
1 安装pytorch 跳转到pytorch的网站 pytorch安装配置页 conda install pytorch torchvision torchaudio cudatoolkit=10.1 -c pytorch 2 安装 transformers pip install transfomers# 失败 使用git下载 git clone https://github.com/huggingface/transformers cd transformers pip install .
小白在虚拟环境下安装transformers
Leestudystudy的博客
01-22 1667
记录每一次安装操作：小白在虚拟环境下安装transformers
Transformers学习-代码环境配置
08-19
Transformers学习--代码环境配置
基础入门篇：Transformers入门，从环境安装到各个基础组件的介绍，包括Pipelin
09-30
基础入门篇：Transformers入门，从环境安装到各个基础组件的介绍，包括Pipeline、To_HuggingFaceTransformers
【Hugging Face】transformers 库：预训练模型库
最新发布
彬彬侠的博客
03-05 1136
Hugging Face提供的transformers库是一个强大、易用的NLP&计算机视觉预训练模型库，支持PyTorch和TensorFlow。它包含了BERT、GPT、T5、RoBERTa、BART、Whisper、Stable Diffusion等大规模Transformer预训练模型，广泛应用于文本分类、文本生成、机器翻译、问答系统、语音处理等任务。
transformers安装避坑
chaishen10000的专栏
11-11 3002
您可以按照官方Rust网站（https://www.rust-lang.org/tools/install）上的说明安装Rust。升级pip和setuptools：过时的pip和setuptools版本有时会引发问题。包相关的类似问题或错误消息，看看是否有已知的解决方案或变通方法。其实就是网络问题，跟你的工具版本没关系的，你多试几次，或者找找有没有更快下载的通道。，应该类似钥匙，如果本地下载后，它们就会没有这个hash值，运行。，但是它还会提示各种千奇百怪的错误，比如我下面这个。
transformers 安装
鲨鱼儿的博客
07-31 1万+
命令：安装之前先安装 tensorflow 2.x 版本 或 pytorch pip install transformers==2.4.1
1 安装和简单使用Transformers
u014574764的博客
03-10 2765
我是NLP或者Transformers纯小白，写文档既是作为记录，也分享给大家共同讨论。本教程所有需下载的文件都会整合到百度网盘，就算你不会git和魔法上网也可以跟着做：
Transformers 安装与基本使用
心若有所向往，何惧道阻且长。
06-27 3348
Transformers 安装与基本使用
transformers的安装
weixin_51230328的博客
04-24 1239
解决办法：第二天我将pycharm中的transformer相关的包复制到了jupyter中，然后直接运行是报错的，需要pip install transformer，就显示成功了！在网上试了各种解决办法，大都是换镜像源，或者使用conda install -c huggingface transformers安装(很慢）
Transformers之环境安装_安装 transformers，Linux运维程序员架构之路该如何继续学习
m0_60721860的博客
04-06 2062
【代码】Transformers之环境安装_安装 transformers，Linux运维程序员架构之路该如何继续学习。
算法面试经典100题，Transformers之环境安装(1)，Python高级工程师必备知识
m0_57541068的博客
04-08 791
自定义安装，主要是为了在docker中使用conda虚拟环境。
Sentence Transformers安装及其依赖环境
zhangziyu299的博客
01-16 1321
Mac安装python,embding模型
ubuntu 20.04 安装 huggingface transformers 环境
weixin_40378209的博客
03-06 1820
ubuntu 20.04 安装 transformers
Windows安装Hugging Face Transformers库并实现案例训练的详细教程
搏博的专栏
02-17 1409
访问Python官网（https://www.python.org/downloads/windows/），下载适用于Windows的Python 3.10+安装包（推荐最新版Python 3.13.2）。这是一个包含Yelp评论和评分的数据集，通常用于文本分类任务。访问PyTorch官网（https://pytorch.org/），选择适合的配置（若有独立支持GPU，推荐CUDA版本）（在页面的中间位置）。加载训练好的模型，可以应用于各种NLP任务，如：文本分类、问答系统、文本生成、序列标注等。
【修改huggingface transformers默认缓存文件夹】
热门推荐
zp_stu的博客
08-19 2万+
huggingface transformers; 默认缓存目录
Transformers 介绍和详细说明
MrLi的博客
07-02 1899
Transformers以其独特的编码器-解码器结构、多头注意力机制以及位置编码等特性，解决了传统循环神经网络（RNN）和卷积神经网络（CNN）在处理长距离依赖和并行计算方面的不足。：为了提高Transformers模型的可解释性和鲁棒性，研究人员正在探索新的方法和工具来分析和理解模型的行为和决策过程。：为了允许模型同时关注输入序列的不同子空间，多头自注意力机制将自注意力过程并行执行多次（通常为8次或更多），每次使用不同的线性变换矩阵来生成查询、键和值。可以根据需要替换为其他预训练模型的名称。
基于Anaconda的机器学习环境安装流程（Transformers+PyTorch+Gym+matplotlib）
三玖天下第一
04-08 5348
小白自用环境部署流程，可能会存在错误，会在之后的使用过程中修复与更新，欢迎各位大佬批评指正
安装transformer（配置pytorch环境；安装transformers库）
sunshine_boy1的博客
10-14 8476
安装transformer（配置pytorch环境；安装transformers库）
Transformers安装
02-21
要安装Transformers库，可以按照以下步骤进行操作： 1. 确保你已经安装了Python环境。Transformers库支持Python 3.6及以上版本。 2. 打开终端或命令提示符，并使用以下命令安装Transformers库： ``` pip install transformers ``` 如果你使用的是conda环境，可以使用以下命令安装： ``` conda install -c conda-forge transformers ``` 3. 安装完成后，你就可以在Python脚本中导入Transformers库并开始使用了。例如： ```python from transformers import BertTokenizer, BertModel # 使用BertTokenizer和BertModel进行文本处理和模型训练 tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') ``` 这样就完成了Transformers库的安装和导入。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值