老版本transformers安装等一系列问题（推荐系统P5复现）

最新推荐文章于 2025-03-17 14:41:58 发布
最新推荐文章于 2025-03-17 14:41:58 发布
阅读量861 收藏
点赞数 3
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/h10666/article/details/137968267
版权
本文讲述了作者在安装和编译transformers4.2.1时遇到的问题，涉及版本不匹配、rust编译器需求、tokenizers0.9.4依赖及编译错误，最终通过修改依赖和版本解决了部分冲突。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

使用transformers时报错没有head_mask这个属性，猜到应该是版本不同导致函数接口不同，于是看readme发现需要的版本是transformers 4.2.1。

尝试使用pip直接安装，报错没有rust编译器

安装rust编译器之后再次尝试pip安装，这次报错`Install error: failed to parse the edition key`，并提示需要2021年或更新的rust，但是我下载的版本是2024年最新的版本，后来发现在编译时根本不使用我安装的环境，而是它自己下载的老版本rust。因此直接使用pip安装失败

转而下载transformers源码自己编译，transformers依赖的tokenizers版本为0.9.4，主要是在安装tokenizers报错，下载tokenizers源码，tokenizers 0.9.4依赖rust进行编译，目录里的rust-toolchain指定编译使用的rust版本，建议修改为较新版本，问题会比较少，我使用1.70.0

实际在编译过程中仍然报错，遇到很多问题，使用1.70.0版本时遇到 use serde::export::Formatter报错，因为serde中没有这个方法，尝试降低依赖的serde版本，实际并不生效，可能是各个包之间互相依赖的关系导致无法按照我需要的版本解决依赖冲突。为了通过编译我直接修改use serde::export::Formatter为 use std::fmt::Formatter，实际运行不清楚会不会遇到问题，但确实能通过编译

涨点技巧：Yolov5/Yolov7引入CVPR2023 Demystify Transformers & Convolutions ，提升小目标检测精度
04-13 1466
特征转换模块（例如注意力或卷积）之间的主要区别在于空间特征聚合的方式，即所谓的“空间标记混合器”（STM）。因此制定了一个统一的架构来消除不同工程技术的不公平影响，最终引入到Yolov5/Yolov7
即插即用篇 | YOLOv10 引入 MHSA 注意力机制 | 《Bottleneck Transformers for Visual Recognition》
YOLOv8项目贡献者
08-18 258
即插即用篇 | YOLOv10 引入 MHSA 注意力机制 | 《Bottleneck Transformers for Visual Recognition》
用于适配低版本transformers的tokenizer
09-05
解决问题： TypeError: TextEncodeInput must be Union[TextInputSequence,Tupele[InputSequence, InputSequence]] 使用方法： pip install transformers_old_tokenizer-3.1.0-py3-none-any.whl from transformers_old_tokenizer import AutoTokenizer
transformers 版本升级(降级)命令
热门推荐
zhang_j_mail的博客
12-10 1万+
【代码】transformers 版本升级(降级)命令。
下载指定版本的transformers
最新发布
m0_68654129的博客
03-17 872
如果你无法直接访问 GitHub，可以尝试使用镜像站点（如 Gitee）或其他工具（如代理）来下载代码。如果你下载的是 ZIP 文件，解压后进入解压后的目录。如果是通过 Git 克隆的，直接进入克隆的目录。文件可能不存在，具体取决于仓库的结构。如果没有该文件，可以直接跳过此步骤。手动安装可能会导致依赖项冲突，建议在虚拟环境中操作。如果你在某个步骤遇到问题，请提供具体的错误信息，我可以进一步帮助你解决！这会将当前目录中的代码作为 Python 包安装到你的环境中。命令直接安装，可以按照以下步骤操作。
Transformer提效之路——一文梳理各种魔改版本Transformer
fareise的博客
02-26 2111
本文首先介绍了Transformer模型的基本结构，然后详细介绍了9篇针对Transformer效率优化、长序列建模优化的顶会论文。
transformers 版本升降级
lovelylord的专栏
08-19 1795
transformers卸载、安装指定版本。
推荐系统的新里程碑：P5 —— 预训练、个性化提示与预测的统一范式
gitblog_00049的博客
06-10 713
推荐系统的新里程碑：P5 —— 预训练、个性化提示与预测的统一范式 项目地址:https://gitcode.com/gh_mirrors/p51/P5 在数据驱动的时代，推荐系统已成为连接用户与海量信息的关键桥梁。P5（Pretrain, Personalized Prompt & Predict Paradigm）是推荐系统领域的一项重大创新，它将自然语言处理的力量引入了推荐技术，创造...
Transformers 4.37 中文文档（十）
龙哥盟
06-23 1021
首先，您应该对🤗 Transformers 有一个总体了解。🤗 Transformers 是一个非常主观的库，因此您可能不同意一些库的理念或设计选择。然而，根据我们的经验，我们发现库的基本设计选择和理念对于有效扩展🤗 Transformers 并保持维护成本在合理水平上至关重要。更好地了解库的一个很好的起点是阅读我们哲学的文档。由于我们的工作方式，有一些选择我们试图应用于所有模型：通常更喜欢组合而不是抽象复制代码并不总是坏事，如果它极大地提高了模型的可读性或可访问性。
transformer整理版本
yanglee0
08-13 2183
0 模型架构图 举例：中文输入为“我爱你”，通过 Transformer 翻译为 “I Love You”。 1、输入Inputs（图的左侧）部分和输出Outputs（图的右侧）部分 1.1 输入Inputs 1.1.1 Input Embedding nn.Embedding 包含一个权重矩阵 W，对应的 shape 为 ( num_embeddings，embedding_dim )。num_embeddings 指的是词汇量，即想要翻译的 vocabulary 的长度。embedding_dim 指
YOLOv11改进 | 主干/Backboen篇 | 目标检测网络最新成果TransNeXt特征提取网络（yolov11全系列可用轻量化）
Snu77的博客
11-02 1732
本文给大家带来的改进机制是TransNeXt特征提取网络,将其应用在我们的特征提取网络来提取特征，同时本文给大家解决其自带的一个报错，通过结合聚合的像素聚焦注意力和卷积GLU，模拟生物视觉系统，特别是对于中心凹的视觉感知。这种方法使得每个像素都能实现全局感知，并强化了模型的信息混合和自然视觉感知能力。TransNeXt在各种视觉任务中，包括图像分类、目标检测和语义分割，都显示出优异的性能(该模型的训练时间很长这是需要大家注意的)。欢迎大家订阅我的专栏一起学习YOLO！（本文内容可根据yolov11的N、S、
recommendation_system_sort_model:推荐系统排序模型复现
03-11
本项目将使用tensorflow2.0复现现在推荐系统中的主流排序模型 DIN： 论文链接： : 数据集使用阿里数据集测试模型代码，数据集链接： ://tianchi.aliyun.com/dataset/dataDetail?dataId=56 DIN调用方法： 0.简介： DIN的输入特征中主要包含三个部分特征：用户历史行为序列，目标商品特征，用户头像特征。用户历史行为序列需要包含单击序列与非单击序列。请按如下1〜2方法处理输入特征。 1.初始化： 初始化DIEN时需预期5个参数： （注：feature_list中的特征名称，需要与embedding_dict中的特征名称一样） embedding_count_dict：string-> int格式，该变量记录需要嵌入各个特征的字典个数，即最大整数索引+ 1的大小； embedding_dim_dict：string->
ID-DAML:推荐系统---实验+复现+创新
03-11
改进建议 推荐系统---实验+复现+创新 书籍阅读复现阶段 推荐系统实践 论文阅读复现阶段 DeepCoNN 完成 NRPA 完成 DAML 完成 自己的论文 DAML改进了对DAML模型在id信息融合方式上的NRPA模型的思想的完成（模型见/pic/IDAML.png） DAML-Distance对DAML模型在id信息融合方式上合并NRPA模型的思想垂直距离公式进行研究完成 欧式距离（常规+标准化修订） 皮尔逊相关系数 数据集 电影行（ ） 亚马逊5核（ ） YELP（ ） 参数（reviews_Sports_and_Outdoors_5最佳） :warning: DropOut概率参数本仓库全部放置于1，无参考价值，为Demo，请具体根据实际场景进行调整 #DeepCoNN BATCH_SIZE = 64 EPOCHS = 50 LEARN
Code-For-Recommendation:推荐系统领域经典论文代码复现
04-02
推荐代码 推荐系统领域经典论文代码复现。 调频Python手动实现TensorFlow实现
即插即用篇 | YOLOv10引入轴向注意力 Axial Attention | 多维变换器中的轴向注意力
YOLOv8项目贡献者
08-18 564
即插即用篇 | YOLOv10引入轴向注意力 Axial Attention | 多维变换器中的轴向注意力
YOLOv10改进 | 主干/Backbone篇 | CSWinTransformer交叉形窗口网络（附代码 + 修改教程）
Snu77的博客
07-12 1120
本文给大家带来的改进机制是其基于Transformer架构，创新性地引入了交叉形窗口自注意力机制，用于有效地并行处理图像的水平和垂直条带，形成交叉形窗口以提高计算效率。它还提出了局部增强位置编码（LePE），更好地处理局部位置信息，我将其替换YOLOv10的特征提取网络，用于提取更有用的特征。经过我的实验该主干网络确实能够涨点在大中小三种物体检测上，同时该主干网络也提供多种版本，大家可以在源代码中进行修改版本的使用。本文通过介绍其主要框架原理，然后教大家如何添加该网络结构到网络模型中。
Transformer常见问题与回答总结
qq_43042024的博客
04-10 5292
Q&A Transformer为何使用多头注意力机制？（为什么不使用一个头） 多头保证了transformer可以注意到不同子空间的信息，捕捉到更加丰富的特征信息。可以类比CNN中同时使用多个滤波器的作用，直观上讲，多头的注意力有助于网络捕捉到更丰富的特征/信息。 参考：https://www.zhihu.com/question/341222779 Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？ （注意和第一个问题的区别） 使用Q/K/
5-推荐系统复现
qq_15821487的博客
08-19 286
推荐系统架构理解 模型视角 复现全景图
查看transformers和torch版本
liveshow021_jxb的博客
07-11 1万+
2、安装、更新和删除。
安装transformers老版本
01-10
### 安装指定旧版本的 Transformers 库 为了安装特定旧版本的 `transformers` 库，可以利用 Python 的包管理工具 pip 来精确控制所要安装的版本。具体操作如下： 对于安装某个确切的历史版本而言，在命令行输入带有版本号的安装指令即可完成目标版本的部署。例如，如果希望安装 4.18.0 版本，则应执行以下命令[^3]： ```bash pip install transformers==4.18.0 ``` 当遇到因依赖项冲突或其他原因导致的新版软件无法正常工作的情况时，回退到之前稳定运行过的较低版本不失为一种有效的解决方案。 另外，考虑到不同项目可能基于不同的环境配置需求，建议创建虚拟环境来隔离各个项目的依赖关系，从而避免全局环境中出现版本兼容性问题。这可以通过 venv 或 conda 工具轻松达成。 值得注意的是，有时即使指定了 Rust 编译器的版本，某些库仍然可能会自行下载所需的构建工具链。为了避免这种情况影响 `transformers` 的安装过程，确保本地开发环境中的 Rust 设置被正确识别是非常重要的。如果发现程序忽略了已有的新版本而选择了过期版本进行编译，那么应该检查相关文档或社区反馈以获取更详细的指导信息[^1]。 最后，除了通过 pip 指定版本外，还可以考虑从源码仓库克隆特定标签下的代码并手动安装。这种方式虽然稍微复杂一些，但对于需要定制化修改或是深入理解内部机制的人来说非常有用。使用 Git 命令可以从 GitHub 上拉取所需版本的源码，并按照官方说明完成后续步骤。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值