从零实现Vision Transformer, 全中文注释

最新推荐文章于 2025-04-30 15:03:34 发布
最新推荐文章于 2025-04-30 15:03:34 发布
阅读量93 收藏
点赞数
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dllsy61/article/details/132180616
版权

前沿

如果说Transformer本身是自然语言处理(NLP)领域的里程碑之作，那么Vision Transformer无疑也是计算机视觉领域的一大力作。Google提出的Vision Transformer首次在大规模图像识别任务上验证了Transformer架构的有效性，并取得了比肩sota模型的效果。

教程地址

全中文注释的代码已经以notebook的形式发布到github
Vision Transformer教程

教程目录

1. Vision Transformer介绍

2. Vision Transformer中的核心概念

3. Vision Transformer的实现

4. 在MNIST数据集上训练Vision Transformer

5. 总结

dllsy61
关注
Python深度学习：【模型系列】Vision Transformer（ViT）的简介
若北辰
04-09 559
Vision Transformer的`中文名称`通常被翻译为`“视觉变换器”`或`“视觉Transformer”`。这个名字直接来源于其英文缩写“ViT”，并准确反映了其`将Transformer架构应用于视觉（图像处理）领域`的特点。
视觉-语言大模型原理
12-18 313
在预训练阶段，Qwen-VL使用了一个大型的语言模型（LLM）作为基础组件，该模型的权重是从Qwen-7B模型中初始化的。此外，基于预训练的Qwen-7B，发布了Qwen-7B-Chat，这是一个基于大型模型的人工智能助手，通过对齐技术进行了训练。通过将Q-Former的输出连接到冻结的语言模型，并训练Q-Former使其输出的视觉表示可以被语言模型解释，从而实现视觉到语言的生成学习。总之，Qwen-VL是一种大规模视觉-语言模型，具备强大的视觉理解能力和灵活的交互能力，可应用于多种实际问题的解决。
【Transformer系列】深入浅出理解ViT(Vision Transformer)模型
热门推荐
IT菜鸟
10-15 4万+
【Transformer系列】深入浅出理解ViT(Vision Transformer)网络模型
深度学习之图像分类（九）vision Transformer翻译与总结（一）
m0_46521375的博客
10-08 2255
虽然Transformer架构已经成为自然语言处理任务的事实上的标准，但它在计算机视觉上的应用仍然有限。在视觉方面，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。我们证明这种对cnn的依赖是不必要的，直接应用于图像补丁序列的纯变压器可以很好地完成图像分类任务。
Vision Transformer综述翻译
Yore_的博客
03-30 2086
视觉Transformer综述 摘要 ​ Transformer是一种基于最初应用在自然语言处理领域上的自注意力机制的深度神经网络。受Transformer强表征能力的启发，研究人员将它扩展到计算机视觉任务上。与卷积网络和循环网络等其他网络类型相比，基于Transformer的模型在各种视觉基准上表现出竞争性甚至更好的性能。在这篇文献综述，我们通过将这些可视化Transformer模型应用在不同类别的任务中，并且对它们的优缺点进行了分析。特别地，主要类别包括基本图像分类、高级视觉、低级视觉和视频处理。也会
Vision transformer学习笔记
qq_36936443的博客
04-14 5157
1. transformer基本架构 在了解cv中的transformer之前，我们先来复习一下transformer的基本架构 1.1 编码器与解码器 我们可以将网络分成两个部分，编码器与解码器。 编码器：将输入编程成中间表达形式（抽取特征） 解码器：将中间表示（特征）解码成任务需要的输出 从编解码的角度来理解神经网络，就是说我先通过编码器将原始数据编码成机器学习比较好理解的结构，再通过解码器解码成你需要的任务输出。 对应到CNN，就是说前面使用卷积层进行...
Vision Transformer Pytorch 实现代码学习记录
一名FPGA芯片设计爱好者的技术博客
02-13 1166
# 1 学习目标 1. 能用官方的 ViT 预训练模型在 imagenet1k 上进行预测推理 完成 2. 在 ImageNet-1K 的完整验证集上验证下载的官方 ViT 预训练模型的准确率
Vision Transformer 综述
qq_38304138的博客
04-01 7458
A Survey on Vision Transformer
Attention 机制 和 Transformer 模型
Rhett_Butler0922的博客
04-26 657
为了理解注意力机制（Attention）和Transformer模型，我们需要先了解它们出现的原因以及它们解决的问题。在Transformer出现之前，处理序列数据（如自然语言处理中的句子或时间序列）主要依赖循环神经网络（RNN）及其变种（如长短期记忆网络（LSTM）和门控循环单元（GRU））。这些模型按顺序处理序列数据，逐步更新隐藏状态。RNN的问题：这些问题促使研究者寻找更好的序列建模方法，从而催生了注意力机制和Transformer。注意力机制的核心思想是：让模型动态关注输入序列中对当前任务最重要的部
【ECCV 2024】InternVideo2: Scaling Foundation Models for Multimodal Video Understanding
zik的博客
08-01 1805
Authors单位【Paper】【Project】我们推出了 InternVideo2，这是一个新的视频基础模型 (ViFM) 系列，它在视频识别、视频文本任务和以视频为中心的对话方面取得了最先进的结果。我们的核心设计是一种渐进式训练方法，它将屏蔽视频建模、跨模态对比学习和下一个标记预测相结合，将视频编码器大小扩展到 6B 参数。在数据层面，我们通过对视频进行语义分割并生成视频音频语音字幕来优先考虑时空一致性。这改善了视频和文本之间的对齐。
Vision Transformer（ViT）PyTorch代码全解析
周红伟讲AI
03-14 421
可以看到，如果指定池化方式为'mean'的话，则会对全部token做平均池化，然后全部进行送到mlp中，但是我们可以看到，默认的self.pool='cls'，也就是说默认不会进行平均池化，而是按照ViT的设计只使用cls_token，即x[:, 0]只取第一个token（cls_token）。都是搭建网络时常用的PyTorch包，其中在卷积神经网络的搭建中并不常用的einops和einsum，还不熟悉的读者可以参考博客：einops和einsum：直接操作张量的利器。
计算机视觉、目标检测、视频分析的过去和未来：目标检测从入门到精通 ------ YOLOv8 到 多模态大模型处理视觉基础任务
shiter编写程序的艺术
07-03 667
自注意力机制和注意力机制的区别就在于，注意力机制的查询和键是不同来源的，例如，在Encoder-Decoder模型中，键是Encoder中的元素，而查询是Decoder中的元素。在中译英模型中，查询是中文单词特征，而键则是英文单词特征。而自注意力机制的查询和键则都是来自于同一组的元素，例如，在Encoder-Decoder模型中，查询和键都是Encoder中的元素，即查询和键都是中文特征，相互之间做注意力汇聚。从剩余的预测框中选择一个与基准框的重叠面积最大的框，如果其重叠面积大于一定的阈值，则将其删除。
Vision transformer
码农ZZK的博客
11-28 3万+
太长不看版 Vision Transformer将CV和NLP领域知识结合起来，对原始图片进行分块，展平成序列，输入进原始Transformer模型的编码器Encoder部分，最后接入一个全连接层对图片进行分类。在大型数据集上表现超过了当前SOTA模型 前言 当前Transformer模型被大量应用在NLP自然语言处理当中，而在计算机视觉领域，Transformer的注意力机制attention也被广泛应用，比如Se模块，CBAM模块等等注意力模块，这些注意力模块能够帮助提升网络性能。而我们的工作展示了不需
Vision-Transformer详解
EMIvv的博客
02-08 2632
引言（Transformer） transformer一开始提出为上面这篇论文，主要应用在NLP领域。 在此之前，nlp主要使用RNN（记忆的长度是有限的，比较短，所以有了后面的LSTM），LSTM等时序网络， 且无法并行化训练（即必须先计算出t0时刻的数据，再计算t1时刻的数据），导致训练效率低。 所以提出transformer，如果在硬件不受限制的情况下，他的记忆长度是无限的。而且可以做并行化。 核心模块：self-attention 计算q,k,v 对(q*k) / np.sqrt(d)得到
深度学习新趋势：利用MLP取代卷积层——S2-MLPv2模型解析
qq_18943707的博客
04-27 455
从学术研究到工业应用，深度学习的演进从未停歇。S2-MLPv2的成功展示了一条新的可能性道路——用更灵活高效的模型结构来应对复杂的现实任务。面对未来，让我们保持敏锐的洞察和探索的热情，在这条创新驱动的路上不断前行。
在深度学习中，什么是线性插值（linear interpolation）？
最新发布
weixin_44649780的博客
04-30 278
线性插值是寻找两个点之间中间值的最基础方法之一，广泛应用于：数值计算计算机图形学机器学习和深度学习它的标准公式是：x0,x1∈Rn：两个向量或标量t∈[0,1]：插值系数（0 表示完全靠近 x0，1 表示完全靠近 x1​）它对应的是两个点之间的一条线段轨迹。线性插值就是“在两个已知点之间，按一定比例找到中间点”的方法，无论是图像、特征、模型参数，它都可以用来“平滑地过渡”。📢 想要了解更多内容，可在VX小程序搜索🔍AI Pulse,获取更多最新内容。
远程深度学习新环境配置流程
weixin_45668967的博客
04-30 204
下载并安装适合你系统的 Miniconda 版本。
Transformer：颠覆深度学习的架构革命与技术演进
源滚滚编程
04-30 583
2017年，谷歌团队在论文《Attention Is All You Need》中提出的Transformer架构，彻底改变了人工智能对序列数据的处理范式。通过这种机制，模型能够自动识别并强化相关位置的语义关联，例如在句子“The cat sat on the mat”中，“cat”与“sat”的关联权重显著高于其他无关词汇。其核心思想是：每个位置的输入向量通过**查询（Query）、键（Key）、值（Value）**三个矩阵变换，动态计算与其他位置的关联权重。，实现了全局上下文感知与并行计算的完美平衡。
【现代深度学习技术】循环神经网络07：通过时间反向传播
Morse_Chen的博客
04-28 1300
本文讲解循环神经网络的通过时间反向传播。RNN梯度分析及BPTT是理解其原理的关键，通过深入分析RNN的梯度计算过程，我们可以更好地理解梯度爆炸和梯度消失的问题，BPTT可有效训练RNN捕捉序列依赖。
cnn-attention
03-20
<think>好的，我现在需要处理用户关于CNN与注意力机制结合的问题。首先，用户提到了实现或解释，所以我要确保回答既涵盖理论也包含实际应用。 首先，我应该回顾CNN的基础知识，确保用户理解卷积神经网络的基本结构和工作原理。然后，引入注意力机制的概念，解释为什么需要将它整合到CNN中。需要说明注意力机制如何帮助模型聚焦于重要区域，提升性能。 接下来，我需要考虑具体的结合方式。可能的方向包括空间注意力、通道注意力，或者混合模型。例如，SENet中的通道注意力机制，通过Squeeze-and-Excitation模块来调整通道权重。另外，CBAM可能结合了空间和通道注意力，这样的结构可以作为例子。 在实现部分，应该提供一些代码示例，比如使用PyTorch实现一个简单的注意力模块。代码需要符合用户的要求，使用正确的格式，并确保语法正确。同时，代码注释要清晰，帮助用户理解每一步的作用。 然后，用户可能需要了解相关的应用场景，比如图像分类、目标检测等，这时候可以引用已有的研究，如Transformer在视觉任务中的应用，或者Vision Transformer模型，说明注意力机制如何在这些场景中发挥作用。 还要注意用户提供的引用资料，如引用[2]提到的2019年CNN架构综述，可能需要提到其中关于注意力机制的讨论，比如SENet或CBAM。引用[3]中的SciPy距离计算可能与注意力机制中的相似性计算有关联，但可能不是直接相关，需要谨慎引用。 最后，生成的相关问题需要覆盖理论分析、实现细节、优化方法和应用场景，确保用户能够全面了解该主题。例如，如何设计注意力模块，如何评估其效果，以及在不同任务中的应用案例。 需要确保回答结构清晰，分点说明，并使用适当的中文术语。同时，按照用户的系统级指令，正确使用LaTeX格式，行内公式用$...$，独立公式用$$...$$，并检查语法是否正确。引用标识要自然地添加在段落末尾，例如引用相关论文或教程的地方。 总结来说，回答的结构应该包括： 1. CNN和注意力机制的概述 2. 结合方式及原理（空间、通道注意力等） 3. 实现示例（代码） 4. 应用场景 5. 相关问题生成 需要确保每个部分逻辑连贯，信息准确，并且引用正确来源。此外，用户可能对实现细节有更深的疑问，因此提供的代码示例要简洁明了，便于理解和修改。同时，要指出当前的研究趋势，如Transformer在视觉中的扩展，帮助用户把握最新动态。</think>### CNN与注意力机制的结合实现及原理解析 卷积神经网络（CNN）通过局部感受野和权值共享提取空间特征，而注意力机制通过动态调整特征权重增强关键区域的学习能力。二者结合可提升模型对重要信息的捕捉效率[^1]。 --- #### 一、结合方式及原理 1. **通道注意力** 对每个通道赋予不同权重，例如SENet中的Squeeze-and-Excitation模块： - **Squeeze**: 全局平均池化生成通道描述符$z_c = \frac{1}{H \times W} \sum_{i=1}^H \sum_{j=1}^W x_c(i,j)$ - **Excitation**: 全连接层学习权重$s = \sigma(W_2 \cdot \delta(W_1 \cdot z))$，其中$\delta$为ReLU激活函数[^2]。 2. **空间注意力** 关注特征图的空间区域，通过卷积生成注意力图： $$A_{spatial} = \sigma(f_{conv}(x))$$ 常用于目标检测任务，如CBAM（Convolutional Block Attention Module）。 3. **混合注意力模型** 同时结合通道和空间注意力，例如Transformer中的多头自注意力机制： $$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 应用于Vision Transformer（ViT）实现图像分类[^3]。 --- #### 二、PyTorch实现示例 ```python import torch import torch.nn as nn class ChannelAttention(nn.Module): def __init__(self, in_channels, reduction=16): super().__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.fc = nn.Sequential( nn.Linear(in_channels, in_channels // reduction), nn.ReLU(), nn.Linear(in_channels // reduction, in_channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() y = self.avg_pool(x).view(b, c) # Squeeze y = self.fc(y).view(b, c, 1, 1) # Excitation return x * y.expand_as(x) # 通道加权 ``` --- #### 三、应用场景 1. **图像分类**: SENet在ImageNet上提升Top-5准确率1.5% 2. **目标检测**: CBAM增强Faster R-CNN对小目标的检测能力 3. **图像生成**: Attention U-Net在医学图像分割中聚焦病变区域 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值