从特征检测器到视觉转换器：卷积神经网络的时代到此结束了吗？

最新推荐文章于 2024-09-07 00:00:00 发布
最新推荐文章于 2024-09-07 00:00:00 发布
阅读量471 收藏 1
点赞数
文章标签： 卷积 神经网络 计算机视觉 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duxinshuxiaobian/article/details/111659144
版权
本文探讨了卷积神经网络在计算机视觉领域的局限性，如无法编码相对空间信息和池化层的问题。视觉转换器（ViT）作为一种新方法，通过自我注意的概念处理图像数据，展现了在效率和准确性上的优势。尽管卷积神经网络仍适用于某些任务，但转换器在自然语言处理和计算机视觉中的潜力不容忽视，预示着领域内的新趋势。
摘要由CSDN通过智能技术生成


全文共1958字，预计学习时长5分钟

图源：unsplash

近十年来，卷积神经网络一直在全球计算机视觉研究领域发挥着主导作用。但研究者们正在提出一种新方法，想要利用转换器的功能赋予图像更深层的意义。

 

转换器最初是为自然语言处理任务而设计的，主攻神经网络机器翻译。后来，谷歌研究院的阿列克谢·多索维斯基（Alexey Dosovitskiy）、卢卡斯·拜尔（Lucas Beyer）等人撰写了一篇题目为《一幅图像值得16x16个字符：大规模用于图像识别的转换器》的论文，提出了一种名为视觉转换器（ViT）的架构，该架构可通过转换器处理图像数据。

 

卷积神经网络（CNN）存在的问题

 

在深入研究视觉转换器的运行方式之前，厘清卷积神经网络的缺点和根本缺陷很有必要。首先，卷积神经网络无法编码相对空间信息。也就是说，它仅关注于检测某些特征，而忽略了相对空间位置。

 

 

上面两幅图像都会被识别为人脸，因为卷积神经网络只关注输入图像中是否存在某些特征，而忽略了它们相对于彼此的位置。

 

卷积神经网络的另一个主要缺陷是池化层。池化层会丢失很多有用的信息，比如最活跃的特征检测器的准确位置。换句话说，它能检测到某些特征，但却无法传达其在图像中的准确位置。

 

转换器简介

 

从本质上说，转换器应用了自我注意的概念。这个概念可以分为两部分：自我和注意。注意指的仅仅是可训练的权重，它可以模拟输入句子中各部分的重要程度。

 

假设输入了一个句子，它会观察句子中的每个单词，并将该单词在句子中的位置与同一句子中所有单词（包括该单词在内）的位置进行比较。所以说，转换器应用了自我注意的概念。转换器根据这些位置线索计算分数，然后用这些线索更好地编码句子的语义或

最低0.47元/天 解锁文章
「已注销」
关注
再见，卷积神经网络！
zandaoguang的博客
12-15 501
目前，作为深度学习的代表算法之一，卷积神经网络（Convolutional Neural Networks，CNN）在计算机视觉、分类等领域上，都取得了当前最好的效果。后来，基于深度神经...
这是卷积神经网络的终结吗?
如果想成为中心，那么就到中心去吧。
03-15 313
文章目录前言卷积神经网络的问题Transformers模型结构重点结果 前言 近十年来，卷积神经网络一直主导着全球的计算机视觉研究。然而，人们提出了一种新的方法，利用变压器的能量来理解图像。变压器最初是为自然语言处理任务设计的，主要关注神经机器翻译。来自谷歌Research的Alexey Dosovitskiy, Lucas Beyer等人的论文《An Image is Worth 16x16 Words: Transformer for Image Recognition at Scale》提出了一种名为
Vision Transformer视觉转换器终极指南
最新发布
ms44的专栏
09-07 665
Vision Transformer 由 Alexey Dosovitskiy 等人 (Google Brain) 于 2021 年在论文《一张图片价值 16×16 个字》中提出。当时，Transformers 已被证明是实现 NLP 任务出色性能的关键，并于 2017 年在必读论文《注意力就是你所需要的一切》中提出。2017 年至 2021 年间，曾有多次尝试将注意力机制集成到卷积神经网络 (CNN) 中。然而，这些尝试大多是混合模型（将 CNN 层与注意力层相结合），缺乏可扩展性。
用于密集预测的视觉转换器 Vision Transformers for Dense Prediction
SHS_JAVA的博客
06-16 1097
  我们提出了一种视觉转换器，一种利用视觉转换器代替卷积网络作为密集预测任务的骨干架构。本文将视觉转换器各个阶段的toker（翻译是令牌，但我感觉更像一个图像块）组装成各个分辨率的类图像表示，然后在解码器阶段进行组合，从而生成全分辨率预测。transformer采用恒定且相对较高的分辨率表示，并且在每个阶段都具有全局感受野。与全卷积网络相比，这些特征可以提供更细粒度和更全局连贯的预测。实验在深度估计和图像分割两个方向都产生了显著的效率提升。  目前几乎所有的密集预测框架都是基于卷积网络的编解码器结构，他们通
(CVPR-2022)视觉转换器与变形注意力
顾道长生的科研笔记
03-31 1028
Transformer最近在各种视觉任务中表现出了卓越的表现。大的，有时甚至是全局的感受野赋予Transformer模型比CNN模型具有更高的表示能力。然而，单纯扩大感受野也会引起一些问题。一方面，使用密集注意力(例如在ViT中)会导致过多的内存和计算成本，并且特征可能会受到超出感兴趣区域的无关部分的影响。另一方面，在PVT或Swin Transformer中采用的稀疏注意力是数据不可知的，可能会限制对长期关系建模的能力。
5-机器学习系列（5）：卷积神经网络CNN之--原理及python实现1
08-03
边缘检测是卷积神经网络的一个概念，它的作用是提取出图片中物体的边缘信息（可以认为是一种滤波），进而网络可以根据提取到的特征进行分类。例如所示，边缘检测通过两个边缘检测器（滤波器，也叫核，即kernel），...
卷积神经网络：卷积神经网络，matlab代码
06-10
卷积神经网络（Convolutional Neural Networks，简称CNN）是一种深度学习模型，广泛应用于计算机视觉领域，如图像分类、目标检测、图像分割等任务。在MATLAB中实现卷积神经网络，可以借助其内置的深度学习工具箱，...
深度学习：卷积神经网络从入门到精通
GitChat
03-28 2万+
内容简介 全面介绍各种卷积神经网络的模型、算法及应用，指导读者把握其形成和演变的基本脉络，以帮助读者在较短的时间内从入门达到精通的水平。有兴趣的读者可以从本书开始，通过图像分类、识别、检测和分割的案例，逐步深入卷积神经网络的核心，掌握深度学习的方法和精髓，领会 AlphaGo 战胜人类世界冠军的奥秘。 作者简介 李玉鑑（鉴） 北京工业大学教授，博士生导师。华中理工大学（现名为华中科技大学）本科毕...
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
《视觉Transformer转换器》综述论文
12-27
Transformer是一种主要基于自注意力机制的深度神经网络，最初应用于自然语言处理领域。受Transformer强大的表征能力的启发，研究人员提出将Transformer扩展到计算机视觉任务中。与卷积网络和循环网络等其他网络类型相比，基于Transformer的模型在各种视觉基准上都具有竞争力，甚至表现出了更好的性能。
图像值得16x16字：用于大规模图像识别的变压器-Python开发
05-25
在此存储库中，我们从论文《图像值得16x16单词：用于大规模图像识别的变压器》中发布模型，这些模型已在ImageNet-21k（imagenet21k）数据集上进行了预训练。 我们提供用于在Jax / Flax中微调已发布模型的代码。 Alexey Dosovitskiy *，Lucas Beyer *，Alexander Kolesnikov *，Dirk Weissenborn *，翟小华*，Thomas Unterthiner，Mostafa Dehghani，Matthias Minderer，Georg Heigold，Sylvain Gelly，Jakob Uszkoreit和Neil Houlsby *†的视觉变压器。 （*）等于技术贡献，（†）等于建议。 由Andreas Steiner准备的开源发行版。 注意：此存储库是从google-research / big_transfer派生和修改的。 简介在此存储库中，我们发布了论文An Image i中的模型。
机器学习笔记 - vision transformer（ViT）简述
学以致用 知行合一
06-25 1079
视觉转换器 vision_transformer（ViT） 因其令人印象深刻的准确率和计算效率而迅速成为卷积神经网络 （CNN） 在计算机视觉任务中的首选替代品。ViT模型在许多数据集和任务组合中的表现比CNN高出近4倍，从而确立了自己作为非常强大的竞争者的地位。同样，基于转换器的模型已经成为自然语言处理（NLP）的常态，ChatGPT就是一个很好的例子。自注意机制用于对文本中单词之间的依赖关系进行建模，并创建复杂的语言模型。
【第48篇】MaxViT：多轴视觉转换器
AI浩
09-27 2276
自 AlexNet [48] 以来，卷积神经网络 (ConvNets) 一直是计算机视觉 [29,48,75,76] 的主要架构设计选择。ConvNets 通过更深 [75]、更宽 [74,76]、添加密集连接 [37]、高效可分离卷积 [35、70]、多孔卷积 [9]、使用编码器-解码器框架 [ 67]，甚至引入了现代微设计组件[57]。
【第29篇】MPViT：用于密集预测的多路径视觉转换器
AI浩
02-05 2925
MPViT：用于密集预测的多路径视觉转换器 密集的计算机视觉任务（例如对象检测和分割）需要有效的多尺度特征表示来检测或分类具有不同大小的对象或区域。虽然卷积神经网络 (CNN) 一直是此类任务的主要架构，但最近推出的视觉转换器 (ViT) 旨在取代它们作为主干。与 CNN 类似，ViT 构建了一个简单的多阶段结构（即从精细到粗糙），用于具有单尺度补丁的多尺度表示。在这项工作中，我们以与现有 Transformer 不同的视角，探索多尺度补丁嵌入和多路径结构，构建多路径视觉 Transformer (MPV
【第31篇】探索普通视觉Transformer Backbones用于物体检测
AI浩
04-04 3531
摘要 我们探索了普通的、非分层的视觉转换器（ViT）作为目标检测的骨干网络。这种设计使原始 ViT 架构能够针对对象检测进行微调，而无需重新设计用于预训练的分层主干。通过对微调的最小调整，我们的普通骨干检测器可以获得具有竞争力的结果。令人惊讶的是，我们观察到：（i）从单尺度特征图（没有常见的 FPN 设计）构建一个简单的特征金字塔就足够了；（ii）使用窗口注意力（没有移位）就足够了跨窗口传播块。通过将普通 ViT 主干预训练为 Masked Autoencoders (MAE)，我们的检测器 ViTDet
彻底改变计算机视觉的 Vision Transformer (ViT) 综合指南（视觉转换器终极指南）
2401_85233349的博客
09-02 1207
Vision Transformer 由 Alexey Dosovitskiy 等人 (Google Brain) 于 2021 年在论文《一张图片价值 16×16 个字》中提出。当时，Transformers 已被证明是实现 NLP 任务出色性能的关键，并于 2017 年在必读论文《注意力就是你所需要的一切》中提出。2017 年至 2021 年间，曾有多次尝试将注意力机制集成到卷积神经网络 (CNN) 中。然而，这些尝试大多是混合模型（将 CNN 层与注意力层相结合），缺乏可扩展性。
卷积神经网络与视觉变压器(ViTs)的比较
Yuxin_007的博客
03-19 2310
过去十年中，视觉识别系统经历了重大变革。在计算机视觉的早期，研究人员依赖手工制作的特征和机器学习算法来检测和分类图像中的物体。然而，这种方法受限于特征的质量和从业者的专业知识。2010年代卷积神经网络（CNNs）的出现，彻底改变了这个领域，将计算机视觉任务推向了新的高度，使得物体识别的准确性和效率得到了显著提高。在过去的十年里，CNNs已经成为视觉识别任务的事实上的标准。它们由卷积层、池化层和全连接层组成的层次结构，使其能够学习视觉数据的复杂表示，在广泛的任务上实现了最前沿的性能。
【ICML 2023】Hiera详解：一个简单且高效的分层视觉转换器
走在深度学习前沿的小宋
06-09 2802
作者创建了一个`简单的分层视觉变压器`，通过现有的视觉变压器并去除其所有的信号，同时通过MAE预训练为模型提供空间偏差。由此产生的架构`Hiera`比目前在图像识别任务上的工作更有效，并且在视频任务上超越了`最先进的技术`。
深度学习入门：卷积神经网络CNN详解
"卷积神经网络入门介绍展示PPT，深度学习领域的重要组成部分CNN，适合小组展示和课堂研讨，包含图像处理、视频分析和自然语言处理等多个应用领域的讲解，以及解决传统多层感知机（MLP）面临的问题，如维数灾难和空间...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值