ViT学习笔记1 | 图文和代码讲解&相关专利框架借鉴

于 2024-06-17 16:11:26 发布
阅读量440 收藏 7
点赞数 4
分类专栏： 深度学习 文章标签： 学习 笔记 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40988805/article/details/139746184
版权

 ViT图文讲解1

什么是VIT？

ViT（Vision Transformer）解析

视频：VIT (Vision Transformer) 模型论文+代码(源码)从零详细解读

每个token再转化为词向量 再去加positional encoding

3.1对应粉色的*    首先各个patch粉色的都有，然后3.1生成cls标记的*（应该是初始位置），3.2再从初始位置开始从0往后标号，3.3再将token embedding和位置编码相加

这两任务在池化时会有一定重复

CLS：多分类任务时用于代表该image，加上cls则用cls表示该image token，不加cls则可以每个token输出再池化（求mean）

告诉模型：哪些词在前哪些词在后

input部分↑ encoder部分↓

5：拿到linear层做多少类分类

代码角度实现VIT详解：

 ViT视频讲解2

实例

Dropout通过使其他隐藏单元存在不可靠性来防止过拟合(Hinton称防止训练数据进行复杂的协同调整)  Dropout训练的神经网络中的每个隐藏单元必须学会使用随机选择的其他单元样本。

ViT相关专利框架参考

《结合显著特征筛选和VIT的面部表情识别方法》：DFFVIT模型同样为VIT的变体，通过加入光照归一化和特征注意力模块，使其适用于人机交互场景下的表情识别任务。

针对问题：人的动态行为、不稳定的光源→面部细节特征无法有效提取，降低了面部表情识别的准确率

根据问题给出的模型：结合显著特征筛选和视觉转化器

采用方法：亮度平衡（加权求和光照归一化方法 削弱光照对表情识别的影响）、提取面部特征（利用卷积神经网络），聚合面部局部-全局上下文信息（使用显著特征筛选模块 筛选显著细节，过滤无用信息），加强面部特征之间的关联性（应用多层transformer编码器），对面部表情进行预测（softmax函数）

人脸面部表现识别的三个阶段：人脸图像收集与检测、*面部特征提取*、表情识别

针对面部表情特征提取的缺点——面部图像出现不确定因素：应用注意力机制于网络模型中，使其关注面部图像显著特征，如：ACNN感知人脸遮挡区域并关注最具判别性的未遮挡区域

九格魔方
关注
专栏目录
ViT原理与代码实例讲解
程序员光剑
06-12 801
1. 背景介绍 在计算机视觉领域，图像分类一直是一个重要的问题。传统的方法是使用卷积神经网络（CNN）进行图像分类，但是CNN需要大量的计算资源和数据，而且对于大型图像数据集，CNN的性能也会受到限制。为了解决这个问题，研究人员提出了一种新的方法，即使用注意力机制来进行图像分类。这种方法被称为视觉注意力（Visual Attention）。
【transformer】【ViT】【code】ViT代码
YJYS_ZHX的博客
04-10 1133
桃叶儿尖上尖，柳絮儿飞满了天… 1 导入库 import torch from torch import nn, einsum import torch.nn.functional as F from einops import rearrange, repeat from einops.layers.torch import Rearrange 解释：其中einops库可以上网上百度，使用还是比较方便的。自己放上一个链接： ...
【计算机视觉】ViT：代码逐行解读
wzk4869的博客
05-04 3542
【计算机视觉】ViT：代码逐行解读
详解VIT（Vision Transformer)模型原理, 代码级讲解
qq_43449643的博客
01-16 6599
详解VIT（Vision Transformer)模型原理, 代码级讲解
Visual Transformer (ViT)模型详解
热门推荐
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
12-31 3万+
ViT是2020年Google团队提出的将Transformer应用在图像分类的模型，虽然不是第一篇将transformer应用在视觉任务的论文，但是因为其模型“简单”且效果好，可扩展性强（scalable，模型越大效果越好），成为了transformer在CV领域应用的里程碑著作，也引爆了后续相关研究。
vit网络模型简介
m0_63156697的博客
09-16 1万+
无
深度学习大作业Python基于VIT实现CAFIR10分类项目源代码+详细文档.zip
最新发布
09-03
深度学习大作业Python基于VIT实现CAFIR10分类项目源代码+详细文档.zip，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用。...
深度学习大作业Python基于VIT实现CAFIR10分类项目源代码+详细文档
09-03
深度学习大作业Python基于VIT实现CAFIR10分类项目源代码+详细文档，深度学习是一种人工智能领域的核心技术，它通过模拟人脑神经网络的方式，让计算机可以从数据中自动学习并进行复杂的模式识别。在本项目中，我们将...
深度学习热力图绘制代码，例如，CNN、VIT、Swin等模型，能直接使用
03-29
深度学习热力图绘制代码，例如，CNN、VIT、Swin等模型，能直接使用。CAM又叫类别激活映射图，也被称为类别热力图、显著性图等。是一张和原始图片等同大小图，该图片上每个位置的像素取值范围从0到1，一般用0到255的...
Vision Transformer (ViT)及各种变体
damadashen的博客
05-31 5973
本文主要讲述Vision Transformer的模型架构及其各种变体介绍。
【计算机视觉】Visual Transformer （ViT）模型结构以及原理解析
wzk4869的博客
05-04 7676
【计算机视觉】Visual Transformer （ViT）模型结构以及原理解析
VIT中PatchEmbed、MultiHeadAttention代码详解（PyTorch）
xiaopan
07-12 2724
相信看到本文的小伙伴基本都是了解了VIT为何物，否则也不会对PatchEmbed感兴趣，所以本文只对VIT做一个简单的介绍。VIT是Vision Transformer的简称，是将Transformer模型运用在图片上的一个重要的网络模型，也是Transformer四大核心模块之一。其思想就是将图片分块再拼接形成如同文本数据一般的序列数据，方便将数据输入到Transformer网络中。
VIT中特殊class token的一些问题
张齐贤的博客
12-03 1万+
类似于BERT中的[class] token,ViT引入了class token机制，其目的：因为transformer输入为一系列的patch embedding，输出也是同样长的序列patch feature，但是最后要总结为一个类别的判断，简单方法可以用avg pool，把所有的patch feature都考虑算出image feature。但是作者没有用这种方式，而是引入一个类似flag的class token,其输出特征加上一个线性分类器就可以实现分类。其中训练的时候，class token的em
VIT用于图像分类 学习笔记（附代码）
PLANTTHESON的博客
01-05 4930
VIT用于图像分类 学习笔记（附代码）
VIT理论代码详解
分享计算机视觉，C++，网络摄像头研发，音视频开发，嵌入式等知识。
09-07 892
把每个像素点按照顺序拿出来，作为token，这样做的话输入参数规模是：假如是1通道的灰度图： 224x224x1=50176，bert才512，是bert的100倍。
ViT实现细节
hellozhxy的博客
12-08 285
到此为止，关于VIT模型，我们就介绍完毕了。如果训练数据量不够多的话，看起来VIT也没比CNN好多少呀，VIT的意义是什么呢？这是个很好的问题，因为在工业界，人们的标注数据量和算力都是有限的，因此CNN可能还是首要选择。证明了一个统一框架在不同模态任务上的表现能力。在VIT之前，NLP的SOTA范式被认为是Transformer，而图像的SOTA范式依然是CNN。VIT出现后，证明了用NLP领域的SOTA模型一样能解图像领域的问题，同时在论文中通过丰富的实验，证明了VIT对CNN的替代能力。
ViT结构详解（附pytorch代码）
蓝羽飞鸟的博客
08-09 1万+
ViT详解
Vision Transformer (ViT)模型与代码实现（PyTorch）
weixin_44790306的博客
05-30 1万+
文章目录摘要一. Visual Transformer (ViT)模型1.1 ViT模型整体结构1.2小结二. VIT 代码实现PyTorch版本 摘要 一. Visual Transformer (ViT)模型 论文源地址：https://arxiv.org/abs/2010.11929 参考博客地址：VIT详细讲解 1.1 ViT模型整体结构 ViT模型是基于Transformer的模型在CV视觉领域的开篇之作，本篇将尽可能简洁地介绍一下ViT模型的整体架构以及基本原理。ViT模型是基于Transfor
vit和cnn混合代码
10-05
VIT（Vision Transformer）是一种基于Transformer的视觉模型，而CNN（Convolutional Neural Network）则是一种常用的卷积神经网络。...总体而言，VIT和CNN的混合代码可以充分利用两种模型的优点，提升图像处理的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值