ViT-pytorch 复现遇到报错

已于 2023-03-11 15:53:15 修改
阅读量953 收藏 3
点赞数
文章标签： pytorch python 深度学习
于 2022-12-02 16:32:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_58208903/article/details/128137894
版权

代码地址：

https://github.com/jeonsworld/ViT-pytorch

 1.报错

Traceback (most recent call last):
  File "train.py", line 16, in <module>
    from torch.utils.tensorboard import SummaryWriter
  File "/mnt/public/users/lig/anaconda/envs/vit4/lib/python3.6/site-packages/torch/utils/tensorboard/__init__.py", line 4, in <module>
    LooseVersion = distutils.version.LooseVersion
AttributeError: module 'distutils' has no attribute 'version'

网上说的是对的，“setuptools版本问题”，换一个较低的版本

pip uninstall setuptools
conda install setuptools==58.0.4

2.报错

File "train.py", line 17, in <module>
    from apex import amp
ModuleNotFoundError: No module named 'apex'

搜索发现，可能是Python版本问题，原环境为Python2.7，重新创建Python3.7的环境（一开始设的3.6，后面出问题说要至少3.7）

conda create -n vit4 python=3.7

在该环境下安装apex

conda activate vit4
git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
或者：python setup.py install [--cuda_ext] [--cpp_ext]

运行代码又报错

AttributeError: module 'torch.distributed' has no attribute '_all_gather_base'

重新安装torch（之前指定了版本），依旧报错，甚至无法安装apex,应该是cuda版本不对应的问题

OSError: /mnt/public/users/lig/anaconda/envs/vit6/lib/python3.7/site-packages/torch/lib/../../nvidia/cublas/lib/libcublas.so.11: symbol cublasLtHSHMatmulAlgoInit, version libcublasLt.so.11 not defined in file libcublasLt.so.11 with link time reference

重新安装回指定torch==1.6,解决第一个问题，重新下1.8版本，我的是11.1

应该还是apex的问题，按照apex安装常见的三个报错并成功解决（亲测有效）_weixin_59726951的博客-CSDN博客_apex安装错误第四个问题的解决方案试一试,有效

深度学习浅行者
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
ViT-pytorch:视觉变压器的Pytorch重新实现（图像值得16x16字
03-18
视觉变压器 Pytorch重新实现了针对随论文 ，Alexey Dosovitskiy，Lucas Beyer，Alexander Kolesnikov，Dirk Weissenborn，翟小华，Thomas Unterthiner，Mostafa Dehghani一起发布， Matthias Minderer，Georg Heigold，Sylvain Gelly，Jakob Uszkoreit和Neil Houlsby。 本文表明，将Transformers直接应用于图像补丁并在大型数据集上进行预训练，在图像识别任务上确实能很好地工作。 Vision Transformer使用标准的Transformer编码器和固定大小的补丁程序，可以实现图像识别任务中的最新技术。为了执行分类，作者使用了在序列中添加一个额外的可学习的“分类令牌”的标准方法。 用法 1.下载经过预先​​训练的模型（
vit-pytorch:在Pytorch中实现视觉变压器，这是仅使用一个变压器编码器即可在视觉分类中实现SOTA的简单方法
03-16
$ pip install vit-pytorch 用法 import torch from vit_pytorch import ViT v = ViT ( image_size = 256 , patch_size = 32 , num_classes = 1000 , dim = 1024 , depth = 6 , heads = 16 , mlp_dim = 2048 ...
Vision Transformer(ViT)论文解读与代码实践(Pytorch)
qq_51957239的博客
09-21 1839
RGB为彩色图片，L为灰度图片= 'RGB':这里解释一下collate_fn这个静态方法：collate_fn方法的作用是定义数据加载时的批处理操作。在PyTorch中，数据加载器（DataLoader）将数据集按照指定的批次大小（batch size）加载到模型中进行训练或推断。当数据集中的样本具有不同的大小或形状时，需要对每个批次进行适当的处理，以便能够对其进行批处理计算。
python引入不同级文件夹下的包显示：ModuleNotFoundError: No module named ‘****‘的问题
qq_48902945的博客
03-22 3980
欲在examples/imagenet文件夹下的main.py中引入pytorch_pretrained_vit文件夹下的model.py 原来的程序中使用的是下面这条代码： from pytorch_pretrained_vit import ViT, load_pretrained_weights 报错： ModuleNotFoundError: No module named 'pytorch_pretrained_vit' 解决方法：引入sys库，使用sys.path.append()函数，在
Torch 论文复现：Vision Transformer (ViT)
荷碧TongZJ 的水文
01-31 1859
论文标题：An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale从 TPUv3-core-days 可以看到，ViT 所需的训练时间比 ResNet 更短，同时 ViT 取得了更高的准确率ViT 的基本思想是，把一张图片拆分成若干个 patch (16×16)，每个 patch 当作 NLP 中的一个单词，若干个 patch 组成一个句子，用 Transformer 进行处理。
神经网络学习小记录67——Pytorch版 Vision Transformer（VIT）模型的复现详解
热门推荐
Bubbliiiing的学习小课堂
01-23 2万+
神经网络学习小记录67——Pytorch版 Vision Transformer（VIT）模型的复现详解学习前言什么是Vision Transformer（VIT）代码下载Vision Transforme的实现思路一、整体结构解析二、网络结构解析1、特征提取部分介绍a、Patch+Position Embeddingb、Transformer EncoderI、Self-attention结构解析II、Self-attention的矩阵运算III、MultiHead多头注意力机制IV、Transforme
神经网络学习小记录66——Keras版 Vision Transformer（VIT）模型的复现详解
Bubbliiiing的学习小课堂
01-03 1万+
神经网络学习小记录66——Vision Transformer（VIT）模型的复现详解学习前言什么是Vision Transformer（VIT）代码下载Vision Transforme的实现思路一、整体结构解析二、网络结构解析1、特征提取部分介绍a、Patch+Position Embeddingb、Transformer EncoderI、Self-attention结构解析II、Self-attention的矩阵运算III、MultiHead多头注意力机制IV、TransformerBlock的构建
Python库 | vit-pytorch-0.9.3.tar.gz
04-19
资源分类：Python库 所属语言：Python 资源全名：vit-pytorch-0.9.3.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Python库 | vit-pytorch-0.17.3.tar.gz
04-19
资源分类：Python库 所属语言：Python 资源全名：vit-pytorch-0.17.3.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
ViT-pytorch_lightning
02-24
深度学习项目种子 使用此种子启动新的深度学习/ ML项目。 内置setup.py 内置要求 MNIST的例子 徽章 比比克斯 目标 该种子的目标是使ML纸质代码结构相同，以便可以轻松地扩展和复制工作。...删除项目中的所有内容 ...
ViT:实现Vi（sion）T（transformer）
05-26
在PyTorch中实现Vi（sual）T（transformer） 大家好，新年快乐！ 今天，我们将要实现著名的Vi （双） T （变压器），该产品在“。 代码在这里，可以从下载本文的交互式版本。 ViT将很快在我称为新计算机视觉库中提供 这是一个技术教程，而不是您在普通的中级文章中找到的使您变得富有的前5个最重要的熊猫功能。 因此，在开始之前，我强烈建议您： 看看惊人的网站 观看 阅读文档 因此，ViT使用在图像上工作的普通变压器（“提出的一种变压器）。 但是，如何？ 下图显示了ViT的体系结构 输入图像被分解为16x16展平的小块（图像未按比例绘制）。 然后使用普通的完全连接层将它们嵌入，在它们前面添加特殊的cls令牌，并对positional encoding求和。 生成的张量首先传递到标准Transformer，然后传递到分类头。 就是这样。 本文的结构分为以下几节
神经网络学习小记录68——Tensorflow2版 Vision Transformer（VIT）模型的复现详解
Bubbliiiing的学习小课堂
02-21 1万+
神经网络学习小记录68——Tensorflow2版 Vision Transformer（VIT）模型的复现详解学习前言什么是Vision Transformer（VIT）代码下载Vision Transforme的实现思路一、整体结构解析二、网络结构解析1、特征提取部分介绍a、Patch+Position Embeddingb、Transformer EncoderI、Self-attention结构解析II、Self-attention的矩阵运算III、MultiHead多头注意力机制IV、Transf
【Pytorch】论文复现 Vision Transformer (ViT)
高朗的博客
03-02 2347
论文 Vision Transformer 复现流程
Vitu研报复现挑战，来了解一下
VituTech
05-21 440
传统金融里，券商每年都会产生大量有价值的研报，互联网的普及更是让我们每一个人都可以阅读到其内容。 在做投资决策前，我们需要信任这些研究，那么我们必须能够复现它。所以Vitu.AI正在通过可复现性挑战鼓励社区复现传统金融的思路是否可以应用到数字资产。 是否对量化策略构建模糊不清，没有训练哪来的成长？快来参加Vitu社区的研报复现挑战赛。 还有，最高可获价值199 USDT专业版服务！ 还有，有机会获得专业投资人的点评！ 时间： 2020年5月21日 - 2020年6月18日 参与研报： 您可以将您曾经在传统金
Pytorch版 Vision Transformer（VIT）模型的复现详解
最新发布
周红伟讲AI
03-08 581
在进行特征提取的时候，我们会在图片序列中添加上Cls Token，该Token会作为一个单位的序列信息一起进行特征提取，提取的过程中，该Cls Token会与其它的特征进行特征交互，融合其它图片序列的特征。当我们输入的图片是224, 224, 3的时候，我们可以获得一个14, 14, 768的特征层。在进行特征提取的时候，我们会在图片序列中添加上Cls Token，该Token会作为一个单位的序列信息一起进行特征提取，提取的过程中，该Cls Token会与其它的特征进行特征交互，融合其它图片序列的特征。
VIT vision transformer pytorch代码复现
haohulala的博客
04-16 5317
这篇论文将transformer机制运用到计算机视觉领域（主要是进行了图片分类），并且取得了不错的效果 其实整体思路挺简单的，就是将是图片拆分成很多小块，然后将小块排列成矩阵送入transformer encoder模块中计算，具体的计算过程如下图所示 我主要分享一下代码 import torch import torch.nn as nn import math class MLP(nn.Module): def __init__(self, dim, hidden_dim, d
视觉Transformer开山之作：Vision Transformer(ViT)论文解读与复现
AI训练师中的点滴
12-17 5128
介绍了VIT的结构及其复现
ViT的复仇：Meta AI提出ViT训练的全新baseline
m0_60673947的博客
05-07 162
ViT的复仇：Meta AI提出ViT训练的全新baseline • 论文链接：https://arxiv.org/pdf/2204.07118.pdf • 文章转载自：机器之心 • 原文地址：https://www.jiqizhixin.com/articles/2022-05-03-3 本文提出了训练视觉 Transformer（ViT）的三种数据增强方法：灰度、过度曝光、高斯模糊，以及一种简单的随机修剪方法 (SRC)。实验结果表明，这些新方法在效果上大大优于 ViT 此前的全监督..
错误：File "/root/anaconda3/lib/python3.7/site-packages/pyspider/run.py", line 231 async=True, get_
Never-Say-Never
10-11 5349
python3.7 安装使用pyspider模块 遇到报错： File "/root/anaconda3/lib/python3.7/site-packages/pyspider/run.py", line 231 async=True, get_object=False, no_input=False): 找了半天原来是因为python3.7不支持async做变量。在python3....
vit-pytorch 分类
12-26
vit-pytorch是一个Python库，用于实现Vision Transformer（ViT）模型。ViT是一种基于Transformer架构的图像分类模型，它将图像分割成小的图像块，并使用Transformer编码器来学习图像的表示。ViT在计算机视觉任务中取得了很好的效果，特别是在图像分类任务中。 要使用vit-pytorch进行图像分类，首先需要安装该库。你可以按照官方提供的安装方法进行安装，链接为：https://lanzao.blog.csdn.net/article/details/101784059。 在使用vit-pytorch进行图像分类时，你需要创建一个VisionTransformer的实例，并在其初始化函数中设置一些参数。其中包括class token（用于表示整个图像的特殊标记）、dist token（用于蒸馏模型的特殊标记）和位置编码。位置编码是为了将图像块的位置信息引入模型中。 下面是一个示例代码，展示了如何使用vit-pytorch进行图像分类： ```python import torch import torch.nn as nn from vit_pytorch import VisionTransformer # 设置一些参数 num_patches = 16 # 图像分割成的图像块数量 embed_dim = 256 # 嵌入维度 drop_ratio = 0.1 # Dropout比率 distilled = False # 是否使用蒸馏模型 # 创建VisionTransformer实例 model = VisionTransformer( num_patches=num_patches, embed_dim=embed_dim, drop_ratio=drop_ratio, distilled=distilled ) # 输入图像数据 input_data = torch.randn(1, 3, 224, 224) # 假设输入图像大小为224x224，通道数为3 # 前向传播 output = model(input_data) # 输出分类结果 print(output) ``` 这是一个基本的使用vit-pytorch进行图像分类的示例。你可以根据自己的需求进行参数设置和模型调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值