Linux安装xFormers教程

本文提供了在Linux环境下手动编译并安装xFormers的步骤,包括克隆GitHub仓库、安装依赖、编译和验证安装。由于官方方法可能存在网络问题,推荐使用SSH克隆源码并手动编译,同时提到了解决nvcc错误的方法和升级CUDA的建议。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

参考文章:手把手教你在linux中手动编译并安装xformers

作者:青空朝颜モ出处:bilibili

官方安装方法

官方仓库传送门:https://github.com/facebookresearch/xformers.git

官方给了两种方式安装xFormers,这里给出官方仓库安装方法的翻译

  • (推荐)使用二进制文件:我们为Linux和最新的PyTorch版本提供二进制文件。在conda中安装pytorch之后,使用conda安装xFormers:

    conda install xformers -c xformers/label/dev
    
  • 或者从源码安装,如果没有二进制文件可用(例如windows),你也可以从源码文件安装:

    #(可选)使构建更快
    pip install ninja
    # 如果运行和构建在不同的GPU类型上,请设置TORCH_CUDA_ARCH_LIST
    pip install -v -U git+https://github.com/facebookresearch/xformers.git@main#egg=xformers
    # (这可能需要几十分钟)
    

    实测:安装ninja后,xFormers安装速度提升非常多,3分钟内完成安装

  • pip wheel包:pip上没有可用的wheel包,请从Conda或从源码安装

然而,官方给出的两种方法在无代理的情况下,安装得很慢。且国内镜像源无镜像可下。

推荐安装方法:克隆/下载Github仓库源码,手动编译安装

1. 克隆仓库

git clone https://github.com/facebookresearch/xformers.git

最好使用SSH链接进行克隆,避免https被墙。SSH克隆方法请自行参考

这里引用一篇博主觉得不错的SSH克隆方法文章:git通过SSH指定秘钥文件克隆代码的三种方法 作者:第九系艾文

image-20230105220117394

2. 进入克隆到本地的文件夹

cd xformers

3. 克隆第三方库

git submodule update --init --recursive

4. 安装xFormers依赖

pip install -r requirements.txt

依赖如下,也可自行安装:

torch>=1.12
numpy
pyre-extensions==0.0.23
einops

5. 编译xFormers

pip install -e .

6. (非必须)验证安装

python -m xformers.info

为解决克隆失败情况,我上传了下载即可安装的源码包至阿里云盘

下载后传至linux服务器,解压缩后进入xformers文件夹即可安装

链接:https://pan.baidu.com/s/1Ip5HxtAyKCxzGxiCXa29lg?pwd=yu2x
提取码:yu2x

参考命令:

# 解压缩
unzip xformers
# 进入目录
cd xformers
# 编译安装xFormers
pip install -e .

一些报错及解决方法

报错:nvcc fatal : Unknown option -extended-lambda

解决方法:

  • 提升本机cuda版本。博主在cuda-10.1下安装报错,随后将cuda升级至11.6并安装最新版本的Pytorch解决该问题

    参考环境:pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.6

安装时自动卸载Torch并安装最新的

可行的解决方法,下列选其一即可:

  • 安装xFormers依赖时去除requirement.txt中的torch一项。注意:此做法可能会导致后续安装失败。

  • 卸载当前版本的Torch,使用Conda命令安装。

    参考PyTorch官网的Conda安装命令。

    点击此跳转PyTorch官网查看安装命令

    image-20230105223601703

    旧版本PyTorch安装命令点击此跳转

<think>好的,我需要帮助用户找到如何安装Unsloth工具的教程。首先,根据用户提供的引用内容,特别是引用[3],里面提到了安装Colab和本地安装Ollama,但可能没有直接说明Unsloth的安装步骤。不过引用[2]提到Unsloth库用于优化训练和微调过程,提供基础模型的量化版本,适用于资源有限的情况。引用[3]的目录部分提到“安装依赖”和“加载预训练模型”可能涉及Unsloth的安装。 我应该先确认用户需要的是在Colab还是本地安装。根据引用[3]中的“完整微调流程”,在4.1创建Colab环境和4.2安装依赖部分,可能需要安装Unsloth。通常,在Colab中安装Python库可以使用pip命令。所以可能的步骤包括在Colab中运行!pip install unsloth或者其他相关命令。 另外,用户可能需要本地安装,比如通过pip install或者从GitHub克隆仓库。需要检查是否有官方文档或GitHub页面提供安装说明。虽然引用中没有直接给出安装命令,但根据常见的Python库安装方式,推测使用pip安装即可。另外,可能需要安装特定版本的依赖项,如torch等,确保兼容性。 还要注意用户提到的Unsloth用于微调大模型,可能需要额外的步骤,如配置Hugging Face的token,或者安装相关依赖库。例如,引用[3]中的4.8.1部分提到配置环境变量,这可能是在保存模型时需要,但安装阶段可能不需要。 总结可能的安装步骤: 1. 在Colab中使用pip安装Unsloth。 2. 本地安装通过pip命令,可能需要指定版本。 3. 安装依赖项如torch、transformers等。 4. 检查官方资源或GitHub仓库获取最新安装指南。 需要确保回答结构清晰,分步骤说明两种环境下的安装方法,并引用提供的参考资料,例如引用[3]中的安装流程部分。同时,生成相关问题,如如何配置环境、常见安装问题解决等。</think>以下是如何安装 Unsloth 工具的详细步骤: ### 安装 Unsloth 的两种方法 #### 方法一:Colab 云端安装(推荐) 1. **新建 Colab 笔记本** - 访问 [Google Colab](https://colab.research.google.com/) 创建 Python 笔记本 2. **安装依赖库** 在代码单元格输入以下命令并执行: ```python !pip install "unsloth[colab] @ git+https://github.com/unslothai/unsloth.git" !pip install --no-deps "xformers<0.26" trl peft accelerate bitsandbytes ``` [^3] 该命令会安装 Unsloth 的 Colab 适配版本及必要依赖 #### 方法二:本地安装(需 NVIDIA GPU) 1. **配置 Python 环境** - 建议 Python 3.10+,使用虚拟环境: ```bash python -m venv unsloth_env source unsloth_env/bin/activate # Linux/Mac ``` 2. **安装 PyTorch** ```bash pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 ``` 3. **安装 Unsloth** ```bash pip install "unsloth[local] @ git+https://github.com/unslothai/unsloth.git" ``` ### 验证安装 ```python from unsloth import FastLanguageModel print(FastLanguageModel.__version__) # 应显示 2.0+ 版本 ``` ### 注意事项 1. 显存要求:8GB+ 显存可运行 7B 模型,16GB+ 可运行 70B 模型 2. 量化支持:通过 `quantization=True` 参数启用 4-bit 量化[^2] 3. 数据集格式:需使用 `alpaca` 格式数据集进行微调
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

这不是Ourz的ID

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值