creami11-CSDN博客

原创 230210论文分享

ViT在Q和K计算相似性时，对于输入为（C,H,W）的特征需要进行CHWxCHW的运算（像素维）。Restormer在Q和K计算相似性时，对于输入为（C,H,W）的特征需要进行CxC的运算（通道维）。然后shuffle。输入N组（C,H,W）的特征，做QKV的运算，得到NxN相似性矩阵。输入的N组特征里，强调重要的、抑制不重要的。CHW特征矩阵和池化后的小矩阵相乘，得到相似性矩阵，而不是通过QK的计算得到。结构：中间层引入了“竞争”机制，6个节点分别连接到2个3节点层，然后选较大的节点。

2023-02-13 14:37:52 624

原创【论文阅读笔记】【ARXIV2105】An Efficient Pyramid Split Attention Block on Convolutional Neural Network

源文https://arxiv.org/abs/2105.14447源代码https://github.com/murufeng/EPSANetIntroductionModelPyramid Split Attention (PSA)在SENet的基础上提出多尺度特征图提取策略，整体结构图如下所示。具体可分为如下四个步骤：Split and Concat (SPC)模块用于获得空间级多尺度特征图； SEWeight（SENet中的模块）被用于获得空间级视觉注意力向量来抽取多尺..

2021-10-25 20:36:02 686

原创【论文阅读笔记】【CVPR2020】Improving Convolutional Networks with Self-Calibrated Convolutions

源文http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf源代码https://github.com/backseason/SCNetIntroductionCNN的最新进展主要致力于设计更复杂的体系结构，以增强其表示学习能力。在本文中，我们考虑在不调整模型架构的情况下改进CNN的基本卷积特征转换过程。为此，我们提出了一种新颖的自校准卷积，该卷积通过内部通信显着扩展了每个卷积层的视场，从而丰富了输出功能。特别是，与使用小卷积核（例如3 x 3）融合空间和通道方向

2021-10-25 18:50:26 338

原创【论文阅读笔记】【CVPR2020】ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks

源文https://www.researchgate.net/publication/336361781_ECA-Net_Efficient_Channel_Attention_for_Deep_Convolutional_Neural_Networks源代码https://github.com/BangguWu/ECANetIntroduction本文首先回顾了SE-Net，在SE-Net中输入特征首先会逐通道经过全局均值池化，随后经过两层全连接层，最后经过Sigmoid非线性激活后产生每一通道的

2021-10-24 22:21:33 2092

原创【论文阅读】【CVPR2019】Dual Attention Network for Scene Segmentation

源文https://arxiv.org/abs/1809.02983源代码

2021-10-21 19:06:36 371

原创【论文阅读】【BMVC2018】BAM: Bottleneck Attention Module

源文https://arxiv.org/pdf/1807.06514.pdf源代码https://github.com/shanglianlm0525/CvPytorch源代码https://github.com/shanglianlm0525/PyTorch-NetworksIntroduction我们提出了一个简单的有效注意模块，名为 Bottleneck Attention Module 注意模块（BAM），可以与任何前馈卷积神经网络集成。我们的模块沿着两个独立的路径，即通道和空间推荐注意力图

2021-10-21 10:10:32 429

原创第六周作业：卷积神经网络（part4）

论文阅读笔记CVPR 2019 《Selective Kernel Networks》CVPR 2020 《Strip Pooling: Rethinking Spatial Pooling for Scene Parsing》CVPR 2019 《HRNet：Deep High-Resolution Representation Learning for Human Pose Estimation》

2021-10-17 23:38:00 719

原创【论文阅读】HRNet：Deep High-Resolution Representation Learning for Human Pose Estimation

源文http://cn.arxiv.org/pdf/1902.09212.pdf源代码https://github.com/leoxiaobin/deep-high-resolution-net.pytorchIntroduction目前主流的多尺度特征提取提取一般是将高分辨率特征图下采样至低分辨率，再经上采样将低分辨率特征图恢复至高分辨率。在特征提取过程中，下采样是为了产生低分辨率特征图，提取高级语义信息；上采样恢复过程是为了得到高分辨的表示。本文提出了一种新的架构，即高分辨率网络(HRNet

2021-10-17 23:33:13 852

原创【论文阅读】CVPR 2020 《Strip Pooling: Rethinking Spatial Pooling for Scene Parsing》

源论文https://arxiv.org/pdf/2003.13328v1.pdf源码https://github.com/Andrew-Qibin/SPNetIntroduction最近，基于全卷积网络（FCN）的方法凭借其捕获高级语义的能力在场景解析方面取得了非凡的进步。但是，这些方法大多会叠加局部卷积和池化操作，因此，由于有效视场有限，因此很难很好地应对具有多种不同类别的复杂场景。提高在CNN中对远程依赖关系建模的能力的一种方法是采用self-attention或non-local 模

2021-10-16 20:31:31 736

原创【论文阅读】Selective Kernel Networks

源论文https://arxiv.org/pdf/1903.06586.pdf源码https://github.com/implus/SKNetIntroduction本文提出了一种在CNN网络中动态选择的机制，让每一个神经元可以根据输入信息自动调整感受野大小。作者设计了一个网络模块，称为Selective Kernel Unit，以此来实现这个目的。文中提出了一种在CNN中对卷积核的动态选择机制，该机制允许每个神经元根据输入信息的多尺度自适应地调整其感受野（卷积核）的大小。设计了一个称为选

2021-10-14 16:18:29 324

原创第五周作业：卷积神经网络（Part3）

一、MobileNetV1 网络简要阅读谷歌2017年的论文《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》，体会 Depthwise 卷积和 Pointwise 卷积。同时，阅读代码：https://github.com/OUCTheoryGroup/colab_demo/blob/master/202003_models/MobileNetV1_CIFAR10.ipynb 把代码

2021-10-03 22:59:39 1219