卷积计算，CNN，CNN中的注意力相关概念

已于 2023-12-18 15:54:32 修改
阅读量383 收藏 9
点赞数 10
文章标签： cnn 人工智能 神经网络 深度学习 机器学习
于 2023-12-09 15:08:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46348508/article/details/134895462
版权
本文详细解析了从张量开始的深度学习基础，包括标准、带填充和步幅的卷积运算，以及卷积神经网络中感受野的概念。同时介绍了注意力模块中的通道注意力和空间注意力模块，如CBAM，通过全局平均池化和最大池化等技术实现权重计算。
摘要由CSDN通过智能技术生成

【10大专题，2.8w字详解】：从张量开始到GPT的《动手学深度学习》要点笔记

卷积运算

  • 标准卷积: 给定输入大小为n，卷积核大小为k，输出大小计算为:
    ( n h − k h + 1 ) × ( n w − k w + 1 ) (n_h − k_h + 1) \times (n_w − k_w + 1) (nh​−kh​+1)×(nw​−kw​+1)
    在这里插入图片描述

  • 带填充的卷积: 输入大小为n，卷积核大小为k，填充为p，输出大小计算为:
    ( n h − k h + p h + 1 ) × ( n w − k w + p w + 1 ) (n_h − k_h + p_h + 1) \times (n_w − k_w + p_w + 1) (nh​−kh​+ph​+1)×(nw​−kw​+pw​+1)
    在这里插入图片描述

  • 带步幅的卷积: 输入大小为n，卷积核大小为k，填充为p，步幅为s，输出大小计算为:
    ⌊ n h − k h + p h + s h s h ⌋ × ⌊ n w − k w + p w + s w s w ⌋ \left\lfloor\frac{n_h − k_h + p_h + s_h}{s_h}\right\rfloor \times \left\lfloor\frac{n_w − k_w + p_w + s_w}{s_w}\right\rfloor ⌊sh​nh​−kh​+ph​+sh​​⌋×⌊sw​nw​−kw​+pw​+sw​​⌋
    在这里插入图片描述
    在这里插入图片描述

在卷积神经网络中，神经元的感受野是指在前向传播过程中可能影响该神经元计算的所有输入元素。感受野可以通过网络深度的增加而相应地扩大。

注意力模块 - CBAM

  • 通道注意力模块: 获取每个通道的重要性权重，通常通过全局平均池化和最大池化操作后的多层感知器（MLP）来实现。
  • 空间注意力模块: 获取空间位置的重要性权重，通常通过改变特征图通道数的池化操作和大尺寸卷积操作来实现。
    在这里插入图片描述
hadiii
关注
  • 10
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习技巧应用26-CNN中多种注意力机制的嵌入方法，终于搞懂注意力机制了
weixin_42878111的博客
09-01 2432
大家好，我是微学AI，今天给大家介绍一下深度学习技巧应用26-CNN中多种注意力机制的嵌入方法，终于搞懂注意力机制了。CNN是一种能够有效处理图像和其他二维数据的深度学习模型。在传统的CNN中，每个卷积核都会对输入的所有位置进行相同的操作，这可能导致网络无法针对特定区域或特征进行更加关注和重点处理。 注意力机制被引入卷积神经网络中，旨在使网络能够自动地学习和聚焦于输入中的重要区域或特征。通过引入注意力机制，可以增强网络对不同区域或特征的关注度，提取更有意义和相关的特征，从而提高模型的性能和表达能力。
卷积神经网络（CNN）、循环神经网络（RNN）和自注意力（self-attention）对比
xw555666的博客
01-05 1454
卷积神经⽹络和⾃注意⼒都拥有并⾏计算的优势，⽽且⾃注意⼒的最⼤路径⻓度最短，但是因为其计算复杂度是关于序列⻓度的⼆次⽅（⾃注意⼒具有计算复杂性），所以在很⻓的序列中计算会⾮常慢。
【深度学习】(1) CNN中的注意力机制（SE、ECA、CBAM），附Pytorch完整代码
热门推荐
博观而约取，厚积而薄发
06-03 8万+
大家好，今天和各位分享一下如何使用 Pytorch 构建卷积神经网络中的各种注意力机制，如：SENet，ECANet，CBAM。注意力机制的原理 和 TensorFlow2 的实现方式可以看我下面两篇博文：SENet、ECANet：https://blog.csdn.net/dgvv4/article/details/123572065DANet、CBAM：https://blog.csdn.net/dgvv4/article/details/123888724SE注意力机制（Squeeze-and-Exc
CNN中的注意力机制
Qiming的博客
06-27 1606
CNN的注意力机制，都是使网络在处理输入数据时，动态地聚焦于重要的部分，从而提高模型的性能和效率。每个模块的输入和输出都是一致的，可以方便的插入到现有模型中，替换不同的模块获得最优效果。
【深度学习】(8) CNN中的通道注意力机制（SEnet、ECAnet），附Tensorflow完整代码
博观而约取，厚积而薄发
03-18 6万+
各位同学好，今天和大家分享一下attention注意力机制在CNN卷积神经网络中的应用，重点介绍三种注意力机制，及其代码复现。 在我之前的神经网络专栏的文章中也使用到过注意力机制，比如在MobileNetV3、EfficientNet网络中都是用了SE注意力机制，感兴趣的可以看一下：https://blog.csdn.net/dgvv4/category_11517910.html。那么今天就和大家来聊一聊注意力机制。 1. 引言 注意力机制源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类
注意力机制 cnn keras_CBAM：卷积注意力机制模块
weixin_39985279的博客
11-19 4127
摘要本文提出了卷积注意力模块（CBAM），这是一种用于前馈卷积神经网络的简单而有效的注意力模块。 给定一个中间特征图，CBAM模块会沿着两个独立的维度（通道和空间）依次推断注意力图，然后将注意力图与输入特征图相乘以进行自适应特征优化。 由于CBAM是轻量级的通用模块，因此可以忽略的该模块的开销而将其无缝集成到任何CNN架构中，并且可以与基础CNN一起进行端到端训练。 本文通过在ImageNet-1...
理解卷积神经网络中的自注意力机制
小白学视觉
03-09 3761
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨Shuchen Du、ronghuaiyang（译）来源丨AI公园 编辑丨极市平台卷积神经网络(CNN)广泛...
卷积神经网络（CNN）注意力检测
weixin_45822638的博客
11-29 1222
语言环境：Python3.6.5编译器：jupyter notebook深度学习环境：TensorFlow2.4.1卷积神经网络（CNN）实现mnist手写数字识别卷积神经网络（CNN）多种图片分类的实现卷积神经网络（CNN）衣服图像分类的实现卷积神经网络（CNN）鲜花识别卷积神经网络（CNN）天气识别卷积神经网络（VGG-16）识别海贼王草帽一伙卷积神经网络（ResNet-50）鸟类识别卷积神经网络（AlexNet）鸟类识别卷积神经网络(CNN)识别验证码卷积神经网络（CNN）车牌识别。
卷积神经网络中的自注意力
deephub
03-10 8108
最近我在自己训练的墙体检测的网络中添加了自注意力，这提高了墙分割的dice分数。我写这篇短文是为了总结cnn的自注意力机制，主要是为了以后可以回顾一下我做了什么，但我也希望对你们有用。 为什么Self-Attention 这篇文章描述了CNN的自注意力。对于这种自注意力机制，它可以在而不增加计算成本的情况下增加感受野。 它是如何工作的 对前一隐含层的特征进行重塑，使之: 其中，C是通道的数量，N是所有其他维度的乘积(稍后我们将看到代码) 对x进行1x1卷积，得到f, g, h。这将改变通道的数量从C到C.
卷积神经网络（CNN）简史
05-07
卷积神经网络（CNN）是一种深度学习模型，特别擅长于处理具有网格结构的数据，例如图像和视频，但在1D数据（如语音信号）和3D数据（如体积图像）中也有广泛应用。CNN的发展经历了从人工神经网络到感知机再到卷积神经...
19.CNN中卷积改进1
08-03
8. **SENet**（Squeeze-and-Excitation Networks）：SENet引入了注意力机制，通过自适应地调整不同通道的重要性，强调特征之间的相关性，提高了模型对特征的利用效率。 9. **空洞卷积（Dilated Convolution）**：...
SMA-CNN-LSTM-Mutilhead-Attention黏菌算法优化卷积长短期记忆神经网络注意力机制多变量时间序列预测
04-19
这是一种有效的机制，允许模型同时关注输入的不同位置，并且可以在多个不同的表示子空间中计算注意力权重。通过这种方法，模型可以更好地捕捉到时间序列中的复杂依赖关系，从而提高预测的准确性。 ### 模型的整体...
Matlab实现CNN-LSTM-Mutilhead-Attention卷积长短期网络多头注意力机制分类预测（完整源码和数据)
03-24
1.Matlab实现CNN-LSTM-Mutilhead-Attention卷积神经网络-长短期记忆网络融合多头注意力机制多特征分类预测，CNN-LSTM-Mutilhead-Attention。多头自注意力层 (Multihead-Self-Attention)：Multihead-Self-Attention...
深度学习：卷积神经网络CNN
08-07
卷积神经网络（Convolutional Neural Network，简称CNN）是深度学习领域中至关重要的一种神经...在实际应用中，不断有新的改进和变种被提出，如残差网络（ResNet）、注意力机制等，进一步提升了CNN在各种任务上的表现。
【大模型理论篇】大模型时代下Bert去哪啦？
weixin_65514978的博客
08-20 1454
bert、自然语言处理、transformer、encoder、gpt、decoder、nlu、nlg、微调、fine-tuning
天猫商品详情API：深度挖掘商品推荐与关联的新路径
2401_85789772的博客
08-20 754
天猫商品详情API是天猫开放平台提供的一项服务，旨在帮助开发者获取天猫平台上商品的详细信息，包括但不限于商品标题、价格、销量、描述、图片以及推荐与关联商品等。这一接口不仅为购物者提供了丰富的商品信息，也为商家和开发者提供了强大的数据支持，助力其优化商品展示策略，提升用户购物体验。天猫商品详情API为开发者提供了深入挖掘商品推荐与关联信息的新途径。通过合理利用这一接口，开发者可以实现精准的商品推荐与关联展示，提升用户体验和平台运营效率。
零基础学习人工智能—Python—Pytorch学习（六）
最新发布
kiba518的博客
08-21 844
前言 本文主要讲神经网络的上半部分。 这篇文章开始有很多公式了，这些公式都很简单，但是如果是不经常在脑海里思考公式的人，那可能需要多花点时间做一下自我训练，个人感觉，也就几天时间，就能把自己感觉给调整出来。 习惯了公式看下面内容就会轻松很多，另外如果要深入学习人工智能，熟练的认知公式也是个必须的事情。 另外，我发现我前面文章写的有歧义的地方还是挺多，虽然，已经改了一部分，但，可能还有没发现的，大...
24 优化算法
kaszxc的博客
08-19 546
深度学习模型大多是非凸的所以关于凸优化的很多理论无法使用小批量随机梯度下降是最常用的优化算法冲量对梯度做平滑冲量法是一个简单的稳定优化的算法Adam 对梯度做平滑，且对梯度各个维度值做重新调整通过实践发现，Adam 不一定比冲量法准确率高或者是收敛快，但是整体来讲 Adam 是比较稳定的，Adam 对学习率不那么敏感，使得调参相对来讲会更加容易一点范围之中（进行维度上的调整）分母中的 ε 的作用是保证分母不等于零。
计算机视觉注意力机制详解：硬软区分与优化策略
这是因为在大量的视觉数据中，存在大量冗余和噪声，传统的卷积神经网络(CNN)可能会被无关特征分散注意力。通过引入注意力机制，系统可以集中精力在最具区分性的特征上，提高识别和理解的准确性。 注意力机制主要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值