老版本transformers安装等一系列问题（推荐系统P5复现）

最新推荐文章于 2024-10-07 19:45:01 发布
最新推荐文章于 2024-10-07 19:45:01 发布
阅读量467 收藏
点赞数 3
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/h10666/article/details/137968267
版权

使用transformers时报错没有head_mask这个属性，猜到应该是版本不同导致函数接口不同，于是看readme发现需要的版本是transformers 4.2.1。

尝试使用pip直接安装，报错没有rust编译器

安装rust编译器之后再次尝试pip安装，这次报错`Install error: failed to parse the edition key`，并提示需要2021年或更新的rust，但是我下载的版本是2024年最新的版本，后来发现在编译时根本不使用我安装的环境，而是它自己下载的老版本rust。因此直接使用pip安装失败

转而下载transformers源码自己编译，transformers依赖的tokenizers版本为0.9.4，主要是在安装tokenizers报错，下载tokenizers源码，tokenizers 0.9.4依赖rust进行编译，目录里的rust-toolchain指定编译使用的rust版本，建议修改为较新版本，问题会比较少，我使用1.70.0

实际在编译过程中仍然报错，遇到很多问题，使用1.70.0版本时遇到 use serde::export::Formatter报错，因为serde中没有这个方法，尝试降低依赖的serde版本，实际并不生效，可能是各个包之间互相依赖的关系导致无法按照我需要的版本解决依赖冲突。为了通过编译我直接修改use serde::export::Formatter为 use std::fmt::Formatter，实际运行不清楚会不会遇到问题，但确实能通过编译

沿途＆。。。
关注
涨点技巧：Yolov5/Yolov7引入CVPR2023 Demystify Transformers & Convolutions ，提升小目标检测精度
04-13 1406
特征转换模块（例如注意力或卷积）之间的主要区别在于空间特征聚合的方式，即所谓的“空间标记混合器”（STM）。因此制定了一个统一的架构来消除不同工程技术的不公平影响，最终引入到Yolov5/Yolov7
即插即用篇 | YOLOv10 引入 MHSA 注意力机制 | 《Bottleneck Transformers for Visual Recognition》
YOLOv8项目贡献者
08-18 87
即插即用篇 | YOLOv10 引入 MHSA 注意力机制 | 《Bottleneck Transformers for Visual Recognition》
transformer整理版本
yanglee0
08-13 1763
0 模型架构图 举例：中文输入为“我爱你”，通过 Transformer 翻译为 “I Love You”。 1、输入Inputs（图的左侧）部分和输出Outputs（图的右侧）部分 1.1 输入Inputs 1.1.1 Input Embedding nn.Embedding 包含一个权重矩阵 W，对应的 shape 为 ( num_embeddings，embedding_dim )。num_embeddings 指的是词汇量，即想要翻译的 vocabulary 的长度。embedding_dim 指
Transformer提效之路——一文梳理各种魔改版本Transformer
fareise的博客
02-26 1899
本文首先介绍了Transformer模型的基本结构，然后详细介绍了9篇针对Transformer效率优化、长序列建模优化的顶会论文。
Transformer问题总结及实现
sccum的博客
08-14 1418
优化1：稀疏注意力机制：背景是：在传统的注意力机制的情况下，每一个token需要注意到所有的token，计算复杂度是O(N^2)（这里动手计算一下Q*K^T就明白了），所以呢，这个时候，不要求每一个token注意到所有的token，只要求它注意到和它相邻的前后k个token，这个时候算法复杂度是O(N * K)，在处理长序列的时候，可以减少内存的消耗；2.d指的是编码向量的维度；这就要追溯到QK是怎么得到的，Q = x * Wq K = x*Wk,这里x是常数，因为Wq和Wk是独立的，所以Q和K是独立的。
推荐系统的新里程碑：P5 —— 预训练、个性化提示与预测的统一范式
gitblog_00049的博客
06-10 516
推荐系统的新里程碑：P5 —— 预训练、个性化提示与预测的统一范式 P5项目地址:https://gitcode.com/gh_mirrors/p51/P5 在数据驱动的时代，推荐系统已成为连接用户与海量信息的关键桥梁。P5（Pretrain, Personalized Prompt & Predict Paradigm）是推荐系统领域的一项重大创新，它将自然语言处理的力量引入了推荐技术...
Transformers 4.37 中文文档（十）
龙哥盟
06-23 734
首先，您应该对🤗 Transformers 有一个总体了解。🤗 Transformers 是一个非常主观的库，因此您可能不同意一些库的理念或设计选择。然而，根据我们的经验，我们发现库的基本设计选择和理念对于有效扩展🤗 Transformers 并保持维护成本在合理水平上至关重要。更好地了解库的一个很好的起点是阅读我们哲学的文档。由于我们的工作方式，有一些选择我们试图应用于所有模型：通常更喜欢组合而不是抽象复制代码并不总是坏事，如果它极大地提高了模型的可读性或可访问性。
transformers 版本升降级
lovelylord的专栏
08-19 1121
transformers卸载、安装指定版本。
5-推荐系统复现
qq_15821487的博客
08-19 250
推荐系统架构理解 模型视角 复现全景图
即插即用篇 | YOLOv10引入轴向注意力 Axial Attention | 多维变换器中的轴向注意力
YOLOv8项目贡献者
08-18 363
即插即用篇 | YOLOv10引入轴向注意力 Axial Attention | 多维变换器中的轴向注意力
YOLOv11改进 | 注意力篇 | YOLOv11引入FocalModulation注意力机制
最新发布
tsg6698的博客
10-07 138
焦点调制包含三个部分：(i) 焦点上下文化，使用一堆深度方向的卷积层实现，对从小范围到长范围的视觉上下文进行编码，(ii) 门控聚合，有选择地将上下文收集到每个查询标记的调制器中， (iii)逐元素仿射变换以将调制器注入到查询中。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv11改进有效涨点专栏，本专栏目前为新开的，后期我会根据各种前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~大家根据自己的数据集实际情况，修改nc大小。
recommendation_system_sort_model:推荐系统排序模型复现
03-11
本项目将使用tensorflow2.0复现现在推荐系统中的主流排序模型 DIN： 论文链接： : 数据集使用阿里数据集测试模型代码，数据集链接： ://tianchi.aliyun.com/dataset/dataDetail?dataId=56 DIN调用方法： 0.简介： DIN的输入特征中主要包含三个部分特征：用户历史行为序列，目标商品特征，用户头像特征。用户历史行为序列需要包含单击序列与非单击序列。请按如下1〜2方法处理输入特征。 1.初始化： 初始化DIEN时需预期5个参数： （注：feature_list中的特征名称，需要与embedding_dict中的特征名称一样） embedding_count_dict：string-> int格式，该变量记录需要嵌入各个特征的字典个数，即最大整数索引+ 1的大小； embedding_dim_dict：string->
ID-DAML:推荐系统---实验+复现+创新
03-11
改进建议 推荐系统---实验+复现+创新 书籍阅读复现阶段 推荐系统实践 论文阅读复现阶段 DeepCoNN 完成 NRPA 完成 DAML 完成 自己的论文 DAML改进了对DAML模型在id信息融合方式上的NRPA模型的思想的完成（模型见/pic/IDAML.png） DAML-Distance对DAML模型在id信息融合方式上合并NRPA模型的思想垂直距离公式进行研究完成 欧式距离（常规+标准化修订） 皮尔逊相关系数 数据集 电影行（ ） 亚马逊5核（ ） YELP（ ） 参数（reviews_Sports_and_Outdoors_5最佳） :warning: DropOut概率参数本仓库全部放置于1，无参考价值，为Demo，请具体根据实际场景进行调整 #DeepCoNN BATCH_SIZE = 64 EPOCHS = 50 LEARN
Code-For-Recommendation:推荐系统领域经典论文代码复现
04-02
推荐代码 推荐系统领域经典论文代码复现。 调频Python手动实现TensorFlow实现
YOLOv8改进 | 主干篇 | 12月份最新成果TransNeXt特征提取网络（全网首发）
Snu77的博客
01-09 2946
本文给大家带来的改进机制是TransNeXt特征提取网络,其发表于2023年的12月份是一个最新最前沿的网络模型，将其应用在我们的特征提取网络来提取特征，同时本文给大家解决其自带的一个报错，通过结合聚合的像素聚焦注意力和卷积GLU，模拟生物视觉系统，特别是对于中心凹的视觉感知。这种方法使得每个像素都能实现全局感知，并强化了模型的信息混合和自然视觉感知能力。TransNeXt在各种视觉任务中，包括图像分类、目标检测和语义分割，都显示出优异的性能(该模型的训练时间很长这是需要大家注意的)。
【推荐系统】TensorFlow复现论文PNN网络结构
CSDN 精品推荐
11-20 1345
文章目录一、导包二、数据处理三、搭建模型3.1 输入层3.2 Embedding层3.3 EmbeddingInput3.4 Produce层3.5 MLP层3.6 PNN模型四、运转模型4.1 读取数据4.2 使用具名数据为特征做标记4.3 编译模型4.4 训练模型4.5 绘制网络结构 下图为PNN的模型结构图，首先将Sparse特征进行Embedding嵌入，然后将其流入Product，分别进行捕捉线性关系lz和特征交叉lp，然后拼接，流到MLP全连接层，最终输出CTR概率值。 一、导包 import
查看transformers和torch版本
liveshow021_jxb的博客
07-11 8627
2、安装、更新和删除。
transformer安装问题
ptiasta的博客
04-09 374
解决方法：安装时加源。
transformers与sentence-transformers版本冲突
Datalhy的博客
07-05 749
亲测可以解决第一个问题。第二个问题可能是两个包版本冲突了。可以降低一下sentence-transformers版本，pip install sentence-transformers==第一个报错往往是transformers版本过高。使用pip install transformers==亲测用这两个版本可以。
安装transformers报错
05-10
安装 `transformers` 时出现错误可能是由于缺少依赖或版本不兼容导致的。以下是一些可能的解决方法： 1. 确保你使用最新版本的 `pip`：`pip install --upgrade pip` 2. 确保你安装了所需的依赖项，例如 `torch` 和 `numpy`。你可以通过运行以下命令来安装它们： ``` pip install torch numpy ``` 3. 如果你遇到了版本不兼容的错误，可以尝试安装不同版本的 `transformers`。例如，如果你使用的是 Python 3.8，则可以尝试安装 `transformers==4.4.2`。 ``` pip install transformers==4.4.2 ``` 4. 如果你使用的是 Anaconda，则可以尝试使用 `conda` 安装 `transformers`。例如： ``` conda install -c huggingface transformers ``` 如果以上方法都无法解决问题，请提供更多错误信息或上下文，以便能够更好地帮助你解决问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值