图片识别（TransFormer&CNN&MLP）

于 2025-05-21 10:59:14 发布
阅读量503 收藏 13
点赞数 19
分类专栏： 人工智能就业实战 文章标签： cnn 图片识别 mlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73776435/article/details/148106947
版权

目录

一、Transformer

（一）ViT：Transformer 引入计算机视觉的里程碑

（二）Swin-Transformer：借鉴卷积改进 ViT

（三）VAN：使用卷积模仿 ViT

（四）ConvNeXt：CNN 的文艺复兴

二、CNN

三、MLP

（一）MLP-Mixer

（二）MetaFormer

一、Transformer

（一）ViT：Transformer 引入计算机视觉的里程碑

ViT（Vision Transformer）是将 Transformer 架构引入计算机视觉领域的开创性工作。它将图像分割成固定大小的 patches，然后将这些 patches 展平并嵌入到一个序列中，类似于 NLP 中的词嵌入。ViT 使用多头自注意力机制来捕捉图像不同部位之间的全局依赖关系，从而实现图像分类等任务。

ViT 的主要步骤如下：

  1. 图像分割：将图像分割成多个非重叠的 patches。

  2. 嵌入：将每个 patch 映射到一个固定维度的向量。

  3. 位置编码：将位置信息添加到嵌入向量中。

  4. Transformer 编码器：使用多层 Transformer 编码器对序列进行处理。

  5. 分类头：使用一个可学习的分类 token 来预测图像类别。

ViT 的出现为计算机视觉领域带来了新的思路，展示了 Transformer 架构在处理图像数据方面的潜力。

（二）Swin-Transformer：借鉴卷积改进 ViT

Swin-Transformer 是对 ViT 的重要改进，它引入了局部窗口自注意力机制，类似于卷积神经网络（CNN）中的局部感受野概念。Swin-Transformer 将图像分割成多个不重叠的窗口，并在每个窗口内进行自注意力计算，从而减少了计算量并提高了模型的效率。

Swin-Transformer 的主要特点包括：

  1. 局部窗口自注意力：在每个窗口内计算自注意力，减少计算复杂度。

  2. 窗口间信息交互：通过合并和分割窗口来实现不同层次的信息交互。

  3. 层次化特征提取：采用层次化的结构，逐步提取图像的多尺度特征。

Swin-Transformer 在保持 Transformer 的全局建模能力的同时，显著提高了计算效率，使其在多种视觉任务中表现出色。

（三）VAN：使用卷积模仿 ViT

VAN（Vision Attention Network）是一种结合了卷积和 Transformer 的新型网络架构。它通过使用卷积操作来提取局部特征，并利用 Transformer 的自注意力机制来捕捉全局信息。VAN 的设计旨在利用卷积的高效性和 Transformer 的强大建模能力。

VAN 的主要特点包括：

  1. 卷积特征提取：使用卷积层提取图像的局部特征。

  2. 自注意力增强：在卷积特征的基础上，添加自注意力模块以捕捉全局信息。

  3. 轻量化设计：通过优化网络结构，减少计算量和参数数量。

VAN 在图像分类、目标检测等任务中展现了良好的性能，证明了卷积和 Transformer 结合的有效性。

（四）ConvNeXt：CNN 的文艺复兴

ConvNeXt 是对 CNN 架构的一次重新设计，旨在借鉴 Transformer 的成功经验并结合 CNN 的优势。ConvNeXt 通过引入一系列现代化的设计元素，如深度可分离卷积、残差连接、注意力机制等，提升了 CNN 的性能和效率。

ConvNeXt 的主要特点包括：

  1. 深度可分离卷积：减少计算量和参数数量，提高模型效率。

  2. 残差连接：促进信息流动，缓解梯度消失问题。

  3. 注意力机制：增强模型的全局建模能力。

ConvNeXt 在多个视觉基准测试中取得了与 Transformer 架构相媲美的性能，证明了 CNN 在现代视觉任务中的竞争力。

二、CNN

CNN（卷积神经网络）是计算机视觉领域的传统架构，它通过卷积层、池化层和全连接层来提取图像的特征。CNN 的主要特点包括：

  1. 卷积层：使用卷积核提取图像的局部特征。

  2. 池化层：对特征进行下采样，减少计算量和参数数量。

  3. 全连接层：对特征进行分类或回归。

尽管 Transformer 架构在近年来取得了显著进展，但 CNN 仍然是许多视觉任务的首选架构，尤其是在实时性要求较高的场景中。

三、MLP

（一）MLP-Mixer

MLP-Mixer 是一种基于多层感知机（MLP）的新型架构，用于图像识别任务。它通过使用两个不同类型的 MLP 层（通道混合和空间混合）来捕获图像的全局信息。

MLP-Mixer 的主要特点包括：

  1. 通道混合：在通道维度上进行信息混合。

  2. 空间混合：在空间维度上进行信息混合。

MLP-Mixer 展示了在没有卷积或自注意力机制的情况下，仅使用 MLP 也可以实现有效的图像识别。

（二）MetaFormer

MetaFormer 是一种通用的 Transformer 架构，旨在为不同的视觉任务提供统一的解决方案。它通过引入元学习的思想，使模型能够自适应地调整其结构和参数。

MetaFormer 的主要特点包括：

  1. 元学习：通过元学习算法优化模型的初始化和参数更新。

  2. 灵活架构：支持多种视觉任务，如图像分类、目标检测、语义分割等。

MetaFormer 为 Transformer 架构在计算机视觉领域的应用提供了新的思路和方法。

在图片识别领域，Transformer 架构通过 ViT、Swin-Transformer 等模型引入了新的思路和方法。同时，CNN 架构也在不断演进，ConvNeXt 等新型 CNN 架构展现了强大的竞争力。此外，MLP 架构在 MLP-Mixer 和 MetaFormer 等模型中也取得了显著进展。这些架构的不断创新和融合，为图片识别技术的发展提供了强大的动力。未来，随着研究的深入，我们可以期待更多高效、强大的图片识别模型的出现。

计算机视觉中的 CNN&Transformer&MLP Backbone网络模型设计前沿研究总结 (持续更新)
weixin_42716570的博客
05-17 3150
简介 随着Vision Transformer的发展，利用CNN与Transformer相结合、基于纯Transformer设计的网络架构层出不穷。与此同时，相当一部分研究聚焦于探讨Transformer的必要性，并由此出现了多层感知机(Multi layer perceptron, MLP)、傅里叶变换(Fourier transform)等替代Transformer组件构建backbone的研究。 本文力图将现有前沿同Transformer相关或力图替代Transformer结构的相关研究汇总到一起，将
CNN RNN 与transformer简介
weixin_46042619的博客
03-17 4151
帮助我们简单且快速的理解。
MLP、CNN、Transformer 的区别解析
qq_48131648的博客
01-02 1272
在深度学习的广阔领域中，多层感知机（MLP）、卷积神经网络（CNN）和 Transformer 架构犹如三颗璀璨的明星，各自在不同的任务和场景中大放异彩。了解它们之间的区别，对于深入掌握深度学习技术，选择合适的模型解决实际问题至关重要。今天，就让我们一同探寻这三者的奥秘。
【Transformer&CNN&TiDE】从CNN到ViT，再从ViT到TiDE，回顾近十年顶刊和会议发表的关于Attention自注意力、Conv卷积机制以及最新诞生的TiDE模型的发展历程
Next_SummerAgain的博客
04-23 3859
从CNN到ViT，再从ViT到TiDE，回顾近十年顶刊和会议发表的关于Attention自注意力、Conv卷积机制以及最新诞生的TiDE模型的发展历程
CNN+Transformer算法总结（持续更新）
热门推荐
qq_45752541的博客
08-19 5万+
CNN与Transformer融合的视觉框架介绍
8类CNN-Transformer混合架构魔改方案盘点，附23个配套模型＆代码
m0_74825135的博客
02-10 1247
为进一步提高模型的性能，我们将。目前，它已经成为我们研究视觉任务、发文章离不开的模型。针对CNN+transformer组合方向的研究也成为了当下计算机视觉领域研究中的大热主题。CNN-Transformer架构凭借众所周知的优势，在视觉任务上取得了令人瞩目的效果，它不仅可以提高模型在多种计算机视觉任务中的性能，还能实现较好的延迟和精度之间的权衡。为挖掘CNN-Transformer混合架构更多的潜力，有关于它的各种变体的研究也逐步增多。为了方便同学们了解，我这次就和大家分享该架构。
CNN，Transformer，MLP三分天下
个人学术整理
07-05 826
随着Transformer这个外来物种的入侵，CV领域逐渐形成了Transformer和CNN二分天下的情况。在原有机器学习模型多层感知机MLP中也逐渐产生了变革，MLP-Mixer就是其产物。在MLP-Mixer工作中，研究人员表明，尽管Conv和attention都足以获得良好的性能，但它们都不是必须的，纯MLP+非线性激活函数+Layer Normalization也能取得不错的性能，其预训练和推理成本可与最新模型相媲美。在MLP-Mixer为什么要使用全连接层，全连接的优点在哪。
Swin Transformer:用Transformer实现CNN多尺度操作
my的博客
12-11 1682
对Swin Transformer的实现原理做了简单介绍
CNN、Transformer、MLP架构的经验性分析
3D视觉工坊
01-03 833
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨pprp来源丨GiantPandaCV编辑丨极市平台导读ViT的兴起挑战了CNN的地位，随之而来的是MLP系列方法。三种架构...
场景文本检测&识别学习 day05（Transformer论文精读）
丿罗小黑的博客
04-19 1071
ht​ht​ht−1​ht−1​ht​ht​ht−1​ht​。
ViT-基于MNIST手写数字识别数据集训练Vision-Transformer模型-简单易上手-优质项目实战.zip
10-21
在训练过程中，ViT模型使用标准的Transformer架构，包括多个自注意力层和多层感知机（MLP）层。训练数据在经过模型后，输出一个概率分布，表明输入图像属于各个数字类别的概率。通过损失函数（通常是交叉熵损失函数...
基于PyTorch的动态计算图和神经网络框架（MLP、CNN、RNN、Transformer）
10-02
在技术实现方面，NumPy实现类PyTorch的动态计算图和神经网络框架(MLP, CNN, RNN, Transformer)_PyDyNet正是这样一个工具，它能够利用NumPy这一强大的数值计算库来模拟PyTorch的行为。尽管PyTorch本身是用C++编写的，...
支持pyramid2.x的kotti web代码
05-21
Kotti 是一个基于 Pyramid 框架的 Python 内容管理系统（CMS），适合用来搭建中小型网站、文档库、企业展示平台、知识库等需要灵活内容结构和权限模型的项目。它本身更像一个可以二次开发的 CMS 框架，比 WordPress、Drupal 这类“一装就用”的系统更倾向于开发者定制和扩展。 这是支持pyramid2.x版本的kotti！ tar -xzvf kotti1.0.tar.gz 解压缩 进入目录执行 pip install -e . 来安装， 然后执行pserve app.ini 启动。 用浏览器浏览127.0.0.1:5000 即可浏览。 用户名admin ，口令qwerty
cmd-bat-批处理-脚本-hello world.zip
最新发布
05-21
cmd-bat-批处理-脚本-hello world.zip
知识付费系统自动采集V3.0 跳转不卡顿+搭建教程
05-21
知识付费系统自动采集V3.0 跳转不卡顿+搭建教程，不和外面的一样跳转卡顿，这个跳转不卡顿，支持三级分销。
基于Matlab实现图像形状纹理颜色特征提取
05-21
在Matlab环境下，对图像进行特征提取时，主要涵盖形状、纹理以及颜色这三大关键特征。其中，对于纹理特征的提取，采用灰度梯度共生矩阵这一方法来实现。通过灰度梯度共生矩阵，可以有效地捕捉图像中像素灰度值之间在不同方向和距离上的相互关系，进而量化地反映出图像的纹理特性，为后续的图像分析、分类等任务提供重要的纹理信息依据。
实证数据-2010-2023年上市公司-管理层情感语调数据-社科经管.rar
05-21
该数据集为2010-2023年中国A股上市公司管理层情感语调的年度面板数据，覆盖45,320条样本，数据源自年报及半年报的"管理层讨论与分析"部分。通过构建中文金融情感词典（融合《知网情感分析用词典》与L&M金融词汇表），采用文本分析方法计算情感语调指标，包括：正面/负面词汇数量、文本相似度、情感语调1（(积极词-消极词)/总词数）和情感语调2（(积极词-消极词)/(积极词+消极词)）。同时包含盈利预测偏差、审计意见类型等衍生指标，可用于研究信息披露质量、市场反应及代理问题。该数据复刻了《管理世界》《财经研究》等期刊的变量构建方法，被应用于分析语调操纵对债券市场的影响，学术常用度与稀缺度较高。
cmd-bat-批处理-脚本-FTIME.zip
05-21
cmd-bat-批处理-脚本-FTIME.zip
1747829038637.png
05-21
1747829038637.png
transformer和cnn融合
01-02
### 融合Transformer与CNN的方法 为了提升模型性能并充分利用两者的优势，研究人员提出了多种将Transformer与CNN相结合的方式。一种有效的方法是在网络结构中引入混合模块，使二者能够协同工作。 #### 方法一：特征提取阶段的融合 可以在早期通过CNN来捕捉局部空间特征，随后利用Transformer进行全局依赖关系的学习。这种分层处理模式有助于提高图像分类任务中的表现[^1]。具体实现上，可以先采用几层标准卷积操作获取低层次的空间信息；之后再接入自注意力机制（Self-Attention），从而更好地理解整个输入序列之间的关联性。 ```python import torch.nn as nn class HybridModel(nn.Module): def __init__(self, num_classes=1000): super(HybridModel, self).__init__() # 使用预训练好的ResNet作为基础骨干网 self.backbone = torchvision.models.resnet50(pretrained=True) # 替换最后一层全连接层为适应新任务所需的类别数目的线性变换 self.fc = nn.Linear(self.backbone.fc.in_features, num_classes) # 添加transformer编码器部分 from transformers import ViTForImageClassification vit_config = { "image_size": 224, "patch_size": 16, "num_channels": 3, "embed_dim": 768, "depth": 12, "num_heads": 12, "mlp_ratio": 4., "qkv_bias": True, "drop_rate": .0, "attn_drop_rate": .0, "norm_layer_eps": 1e-6, "hidden_act": 'gelu', "initializer_range": 0.02, "layer_norm_eps": 1e-12, "is_decoder": False, "use_cache": False, "tie_word_embeddings": False} self.transformer_encoder = ViTForImageClassification.from_pretrained('google/vit-base-patch16-224', config=vit_config).vit.encoder.layer[:int(vit_config['depth']/2)] def forward(self, x): features = self.backbone.conv1(x) features = self.backbone.bn1(features) features = self.backbone.relu(features) features = self.backbone.maxpool(features) features = self.backbone.layer1(features) features = self.backbone.layer2(features) features = self.backbone.layer3(features) features = self.backbone.layer4(features) b, c, fh, fw = features.shape patches = features.permute(0, 2, 3, 1).reshape(b, fh * fw, c) transformed_patches = self.transformer_encoder(patches)[0] pooled_output = torch.mean(transformed_patches, dim=1) logits = self.fc(pooled_output) return logits ``` #### 应用场景分析 在实际应用方面，这类混合型架构特别适用于那些既需要关注细节又需把握整体语义的任务： - **医学影像诊断**：对于X光片、CT扫描等医疗成像资料而言，不仅要有精准的位置定位能力，还要能识别复杂的病变模式； - **自动驾驶感知系统**：车辆周围环境监测涉及到远近物体的同时检测与跟踪，这要求算法具备强大的上下文理解和快速响应特性； - **遥感数据分析**：卫星图片往往覆盖广阔区域，内部包含大量不同尺度的目标对象，因此适合运用此类兼具细粒度解析力和宏观视角优势的技术方案来进行解译。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值