在自己的图像数据集上训练测试ViT-B16模型，以及position-embdding可视化-亲测可用

最新推荐文章于 2024-03-15 01:00:00 发布
最新推荐文章于 2024-03-15 01:00:00 发布
阅读量3.4k 收藏 9
点赞数 2
分类专栏： 人工智能 文章标签： 深度学习 ViT transformer 位置编码 可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38784454/article/details/120270719
版权
人工智能 专栏收录该内容
82 篇文章 45 订阅 ¥59.90 ¥99.00
订阅专栏

ViT在图像分类、检测、分割上已经取得了很大的成功！

下面讲解下如在自己的数据集上做训练：

环境 pytorch18.1+cu111

完整代码：https://download.csdn.net/download/qq_38784454/23512141

一、数据集制作

数据集需要采用猫狗大战的命名格式  如dog.0.jpg, cat..jpg等

二、转化预训练模型

我们需要将官网提供的预训练模型转化为torch能加载的模型（将jx_vit_base_p16_224-80ecf9dd.pth转化为base_p16_224_backbone.pth）

百度网盘：预训练权重（包含已经转换好的base_p16_224_backbone.pth权重文件），将base_p16_224_backbone.pth放到model文件夹下，或者自己转化

链接：

了解本专栏 订阅专栏 解锁全文
苏打水的杯子
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
简单有趣的变形金刚网络（VIT） Vision Transformer（可以直接替换自己数据集）-直接放置自己的数据集就能直接跑（网络结构详解+详细注释代码+核心思想讲解）——pytorch实现
爱吃橘子的小翟
05-10 3081
论文题目： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 原论文下载链接：https://arxiv.org/abs/2010.11929 原论文对应源代码：mirrors / google-research / vision_transformer · GitCode Transformer最先应用于在NIP领域，并且取得了巨大的成功，事实上NIP和CV作为深度学习应用最广的两个领域，两者的
猫狗分类数据集 猫狗分类下复现vit对比rensnet50
01-18
猫狗分类数据集 猫狗分类下复现vit对比rensnet50 博客 https://blog.csdn.net/qq_37401291/article/details/128725008
多模态大模型的技术底座：ViT的baseline
zengzizi的博客
03-15 282
论文研究的是谷歌和，同时加上和。
torch常用指令——预训练模型篇
weixin_43702653的博客
07-21 3099
torch常用指令——预训练模型篇
Stable Diffusion（一）Stable Diffusion 原理
ZacksTang的博客
04-16 527
Stable Diffusion原理 此文为译文，原文见： https://stable-diffusion-art.com/how-stable-diffusion-work/ Stable Diffusion是一个深度学习模型，我们会深入解析SD的工作原理。 1. Stable Diffusion能做什么 直白地说，SD是一个text-to-image模型，通过给定text prompt(文...
Swin Transformer实战目标检测：训练自己的数据集
01-04
Transformer发轫于NLP（自然语言处理），并跨界应用到CV（计算机视觉）领域。 Swin Transformer是基于Transformer的计算机视觉骨干网，在图像分类、目标检测、实例分割、语义分割等多项下游CV应用中取得了SOTA的性能。该项工作也获得了ICCV 2021顶会最佳论文奖。 本课程将手把手地教大家使用labelImg标注和使用Swin Transformer训练自己的数据集。  本课程将介绍Transformer及在CV领域的应用、Swin Transformer的原理。 课程以多目标检测（足球和梅西同时检测）为例进行Swin Transformer实战演示。 课程在Windows和Ubuntu系统上分别做项目演示。包括：安装软件环境、安装Pytorch、安装Swin-Transformer-Object-Detection、标注自己的数据集、准备自己的数据集（自动划分训练集和验证集）、数据集格式转换（Python脚本完成）、修改配置文件、训练自己的数据集、测试训练出的网络模型、性能统计、日志分析。  相关课程： 《Transformer原理与代码精讲（PyTorch）》https://edu.csdn.net/course/detail/36697《Transformer原理与代码精讲（TensorFlow）》https://edu.csdn.net/course/detail/36699《ViT（Vision Transformer）原理与代码精讲》https://edu.csdn.net/course/detail/36719《DETR原理与代码精讲》https://edu.csdn.net/course/detail/36768《Swin Transformer实战目标检测：训练自己的数据集》https://edu.csdn.net/course/detail/36585《Swin Transformer实战实例分割：训练自己的数据集》https://edu.csdn.net/course/detail/36586《Swin Transformer原理与代码精讲》 https://download.csdn.net/course/detail/37045
ViT基本原理，图像预训练
AI生成式技术曾小健
06-08 1583
ViT作者团队出品，在CNN和Transformer大火的背景下，舍弃了卷积和注意力机制，提出了MLP-Mixer，一个完全基于MLPs的结构，其MLPs有两种类型，分别是和，前者独立作用于image patches（融合通道信息），后者跨image patches作用（融合空间信息）。实验结果表明该结构和SOTA方法同样出色，证明了convolution和attention不是必要操作，如果将其替换为简单的MLP，模型依然可以完美work。
huggingface vit训练代码 ，可以改dataset训练自己的数据
高颜值的杀生丸(此博客转载自我的博客园)
05-26 846
见代码： from transformers import ViTImageProcessor, ViTForImageClassification from PIL import Image import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoade...
关于VIT模型训练自己的数据集报错为无效的数据
xi_xiyu的博客
10-29 1608
请问训练官方的VIT脚本时数据集结构应该是怎样的。问题找到了，batch_size太大了导致的。执行train.py后就报错为无效数据。
使用ViT（Vision transformer）来训练Cifar10数据集
HELLOWORLD2424的博客
10-09 6961
下面的代码是使用ViT训练Cifar10数据集的demo。
保姆级使用PyTorch训练与评估自己的HorNet网络教程
啥都生的博客
11-08 1939
如果你以为该仓库仅支持训练一个模型那就大错特错了，我在项目地址放了目前支持的35种模型，速度快的同学论文已经在审了～
vit_base_patch16_224_in21k.zip
04-30
用于Vision Transformer的预训练模型，导入后提高训练准确率起点，有利于模型拟合。
Pytorch使用预训练模型进行图像分类
05-07
我们介绍一些使用预训练网络的实际例子，这些网络出现在TorchVision模块...包括流行的数据集，模型体系结构，和通用的图像转换为计算机视觉。基本上，如果你进入计算机视觉并使用PyTorch, Torchvision将会有很大的帮助!
ViT-基于cifar10数据集训练Vision-Transformers算法-大模型训练-优质项目实战.zip
04-07
ViT_基于cifar10数据集训练Vision-Transformers算法_大模型训练_优质项目实战
ViT-基于MNIST手写数字识别数据集训练Vision-Transformer模型-简单易上手-优质项目实战.zip
最新发布
04-09
ViT_基于MNIST手写数字识别数据集训练Vision-Transformer模型_简单易上手_优质项目实战
vit-pytorch-pretrained-weights-master.zip
09-18
在自己的图像数据集上训练测试ViT-B16模型，以及position-embdding可视化-亲测可用 （预训练权重链接https://pan.baidu.com/s/19dGGjU6nz3Nhns7fELeXfQ 提取码：mnw5）
vision-transformer-pytorch:带有预训练模型的Pytorch版本的Vision Transformer（ViT）。 这是CASL（https
04-13
我们提供从预训练的jax /亚麻模型转换而来的预训练的pytorch权重。 我们还提供微调和评估脚本。 获得了与类似的结果。 安装 创建环境： conda create --name vit --file requirements.txt conda activate vit 可用...
图像归一化normalization
热门推荐
苏打水的杯子的博客
05-25 5万+
一、图像归一化的好处：1、转换成标准模式，防止仿射变换的影响。2、减小几何变换的影响。3、加快梯度下降求最优解的速度。二、图像归一化的方法1、线性函数转换，表达式如下：y=(x-MinValue)/(MaxValue-MinValue)说明：x、y分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。2、对数函数转换，表达式如下：y=log10(x)说明：以10为底的...
python获取当前工作路径、保存路径
苏打水的杯子的博客
03-25 1万+
python获取当前工作路径： import os print os.getcwd() #获取当前工作目录路径 print os.path.abspath('.') #获取当前工作目录路径 print os.path.abspath('test.txt') #获取当前目录文件下的工作目录路径 print os.path.abspath('..') #获取当前工作的父目录 ！注意是父目录路径 print os.path.abspath(os.curdir) #获取当前工作目录路径 Python添加系统
在自己的图像数据集上训练测试vit-b16模型,以及position-embdding可视化-亲测可用
09-09
在自己的图像数据集上使用vit-b16模型进行...综上所述，通过在自己的图像数据集上训练和测试vit-b16模型，并可视化position-embedding，我们可以得到一个适用于该数据集的模型，并且可以观察其对位置信息的学习情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

苏打水的杯子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值