Transformer＋Classification学习笔记

已于 2024-06-15 10:39:53 修改
阅读量471 收藏 3
点赞数 5
文章标签： transformer 深度学习 人工智能
于 2024-05-14 22:37:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_62701031/article/details/138852709
版权

  论文名称：An Image is Worth 16x16 Words:Transformers for Image Recognition at Scale

[2010.11929] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (arxiv.org)

相关优化： 

[2112.11010] MPViT: Multi-Path Vision Transformer for Dense Prediction (arxiv.org)

参考博客与视频：

Vision Transformer 超详细解读 (原理分析+代码解读) (二) - 知乎 (zhihu.com)

11.1 Vision Transformer(vit)网络详解_哔哩哔哩_bilibili

 一、图片预处理：分块与降噪

先把图片展平成由若干块组成的2D序列，每个块的维度为（P1 x P2, C)，其中 P 是块大小，块大小为 P1 x P2，C 是 channel 数。

故有 n 个 token。 

x = rearrange(img, 'b c (h p1) (w p2) -> b (h w) (p1 p2 c)', p1=p, p2=p)

二、patch embedding + class_token

法1.使用全连接层的patch embedding

法2.卷积 + flattening(剩去分块)

三、Position Encoding

  

不要麻酱
关注
业界前沿技术：从零开始学视觉Transformer-学习笔记
段智华的博客
05-20 404
业界前沿技术：从零开始学视觉Transformer-学习笔记 目录 Transformer 整体架构Patch EmbeddingAdd Norm （BN and LN）Pre-Norm vs Post-NormClassification Token vs AvgPoolPosition EncodingVision Transformer 论文Vision Transformer 代码复现 Transformer 整体架构 Patch Embedding Self Attention：Scale
SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers Transformer高光谱分类论文笔记
每天都要看论文
12-03 1万+
SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers 作者：Danfeng Hong,Zhu Han,Jing Yao, Lianru Gao,Bing Zhang,Antonio Plaza,and Jocelyn Chanussot 来源：2021 IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING 本文动机： CNN
Transformers_for_Text_Classification：基于Transformers的文本分类
02-03
Transformers_for_Text_Classification 基于Transformers的文本分类 基于最新的出品的v2.2.2代码进行重构。为了保证代码日后可以直接复现而不出现兼容性问题，这里将放到本地进行调用。 强调 支持transformer模型后接各种特征提取器 支持测试集预测代码 精简原始变形金刚代码，使之更适合文本分类任务 优化日志记录终端输出，使之输出内容更加合理 支持 型号： 伯特 伯特·cnn bert_lstm 伯特·格鲁 互联网 xlnet_cnn xlnet_lstm xlnet_gru 阿尔伯特 内容 数据集：存放数据集 pretrai
Transformer系列：Classification --＞ ViT (ICLR2021)
weixin_34992700的博客
06-10 1012
1. Motivation 2. Method 3.Experiment
【Transformer】CLS（classification）有什么用？
Drug discovery
10-06 3万+
CLS]就是classification的意思，可以理解为用于下游的分类任务。 一句话理解：【CSL】就是一个向量，只是不是某一个字的向量，是一个够代表整个文本的的语义特征向量，取出来就可以直接用于分类了。 意思就是它是代表整个语句的标签，代表该语句是什么含义（褒贬义/正确错误....）而不是仅仅代表一个单词的含义 主要用于以下两种任务： 单文本分类任务：对于文本分类任务，BERT模型在文本前插入一个[CLS]符号，并将该符号对应的输出向量作为整篇文本的语义表示，用于文本分类，如下图所示。可以理解为
Transformer原理以及文本分类实战
qq_36618444的博客
06-01 2万+
目录1. Model2. Encoder2.1 Position encoding2.2 Multi-Head AttentionAdd&NormFeed forwardDecoder参考 1. Model 在此之前，假定你已经了解了：RNN（LSTM），Sequence2Sequence模型以及注意力机制。Transformer通过大量使用Attention代替了Seq2seq中的RNN结构，使得整个模型可以并行计算（RNN只能等待t-1时间步计算完成才能计算下一个时间步t）。 正如所有的Seq2
【论文解读】A Survey on Visual Transformer及引文理解
fengdu78的博客
02-03 1813
A Survey on Visual Transformer阅读，以及自己对相关引文的理解。Transformer 作为NLP领域的大杀器，目前已经在CV领域逐渐展露锋芒，大有替代CNN的...
Vision Transformer学习笔记
weixin_45671402的博客
08-14 895
由于在之前的文章中已经详细解读过Transformer的架构，ViT中的Transformer没有任何变动，因此重点讲述ViT对图像专门设计的方法。认为这个Token在不断的执行注意力计算的过程中，是可以学习到整个图像的全局信息的，并且只需要将这个Token送入后续的下游任务，即可取得十分出色的效果。我们再回到Transformer类中，在完成了Transformer Encoder的定义后，最后需要定义一个分类头，即一个简单的MLP即完成了对Transformer的定义过程。
TRL(Transformer Reinforcement Learning) PPO Trainer 学习笔记
最新发布
u012374012的专栏
04-28 847
如上所述，可以使用任何针对字符串返回标量值的函数来生成奖励（the reward can be generated using any function that returns a single value for a string），无论是简单的规则（例如字符串的长度）、度量（例如 BLEU）还是基于人类偏好的奖励模型。由于 PPOTrainer 在每个执行步骤中都需要主动奖励，因此我们需要定义一种在 PPO 算法的每个步骤中获取奖励的方法。在此示例中，我们将使用上面初始化的情绪奖励模型。
Vision Transformer (ViT) —— 多模态学习笔记（一）
qq_46101866的博客
10-25 1660
本文详细介绍Vision Transformer，ViT模型的基本原理和技术细节。
深度学习：transformer模型
热门推荐
皮皮blog
12-10 5万+
Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合cnn或者rnn的固有模式，只用attention，可谓大道至简。文章的主要目的是在减少...
超详综述 | 基于深度学习的命名实体识别
Paper weekly
05-25 6689
©PaperWeekly 原创 ·作者｜马敏博单位｜西南交通大学硕士生研究方向｜命名实体识别论文名称：A Survey on Deep Learning for Named Entit...
一文看懂Transformer到BERT模型
fengdu78的博客
02-23 8267
目录：ELMo与Transformer的简单回顾DAE与Masked Language ModelBERT模型详解BERT模型的不同训练方法如何把BERT模型应用在实际项目中如何对BER...
Transformer详解
深圳湾刘能的博客
07-30 8665
Transformer是Google团队在17年提出的，在目前NLP的领域应用非常的广泛，是由Ashish Vaswani等人在论文《Attention is all your need》中提出的。Transformer 在机器翻译任务上的表现超过了 RNN，CNN，只用 encoder-decoder 和 attention 机制就能达到很好的效果，最大的优点是可以高效地并行化。那么为什么Tra...
Transformer模型
NeilGY的博客
03-12 547
模型讲解：https://terrifyzhao.github.io/2019/01/11/Transformer%E6%A8%A1%E5%9E%8B%E8%AF%A6%E8%A7%A3.html 源码解读：https://terrifyzhao.github.io/2019/01/11/Transformer%E6%BA%90%E7%A0%81%E8%A7%A3%E8%AF%BB.html ...
transformer模型解读
weixin_30362233的博客
11-29 447
　　最近在关注谷歌发布关于BERT模型，它是以Transformer的双向编码器表示。顺便回顾了《Attention is all you need》这篇文章主要讲解Transformer编码器。使用该模型在神经机器翻译及其他语言理解任务上的表现远远超越了现有算法。 　　在 Transformer 之前，多数基于神经网络的机器翻译方法依赖于循环神经网络（RNN），后者利用循环（即每一步的输出馈入...
视觉Transformer综述
CV技术指南（微信公众号）
12-26 5792
前几日，华为诺亚，北京大学，悉尼大学共同发表了论文《A Survey on Visual Transformer》，本文针对其重点内容进行翻译概括如下。文末附论文原文和本文完整版下载方式。 导言： Transformer是一种主要基于自注意力机制的深度神经网络，最初是在自然语言处理领域中应用的。受到Transformer强大的表示能力的启发，研究人员提议将Transformer扩展到计算机视觉任务。与其他网络类型（例如卷积网络和循环网络）相比，基于Transformer的模型在各种视觉...
Transformer
qq_49937848的博客
03-28 2008
** Transformer ** 一、背景 Transformer 作为 NLP 领域的大杀器，目前已经在 CV 领域逐渐展露锋芒，大有替代 CNN 的趋势，在图像分类，视频处理，low/high level 的视觉任务都有相应的 transformer 刷榜。 下表是transformer截至目前在视觉领域的应用。 transformer 在CV中的应用可以分为四类，分别是classification, high-level vision, low-level vision 和video proce
博客阅读：图解Transformer（The Illustrated Transformer）
南有芙蕖
10-10 2081
博客阅读：图解Transformer（The Illustrated Transformer） 原文链接：https://jalammar.github.io/illustrated-transformer/ 作者：Jay Alammar 目录博客阅读：图解Transformer（The Illustrated Transformer）前言1.整体结构（A High-Level Look）图的引入（Bringing The Tensors Into the Picture）2.Encoder编码器（No
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值