u011447962的博客

Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs paper:​https://arxiv.org/pdf/2203.06717.pdf​code:https://github.com/megvii-research/RepLKNet该篇论文论述了卷积核的kernelsize可以选择多大。25x25就很好，31x31甚至更好。清华大学丁霄汉继RepVGG后提出了一种大量采用超大卷积核的模型...

Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactionspaper:https://arxiv.org/pdf/2112.05561.pdf摘要人们研究了多种注意机制，以提高各种计算机视觉任务的性能。然而，先前的方法忽略了保留通道和空间方面的信息以增强跨维度交互的意义。因此，论文提出了一种全局注意机制，通过减少信息的损失和提高全局特征的交互，提高深度神经网...

问题分析Keras是一个高度封装的库，它的优点是可以进行快速的建模，缺点是它不处理底层运算，如张量内积等。Keras提供众多常见的已编写好的函数和层对象，例如常见的K.reshape函数、K.sigmoid函数、卷积层、池化层等，可以直接通代码调用。由于新的论文中使用的算法比较新颖、涉及的方法千方百态，Keras不可能涉及地面面俱到。此外，在实现算法过程中，往往会根据具体项目的一些独特性设计一些函数和层。所以，在这个时候，应该在算法中使用Keras自定义一些函数和层。解决方...

香港中文大学Fully Attentional Network for Semantic Segmentation paper:https://arxiv.org/pdf/2112.04108.pdf摘要最近的非局部自注意方法(non-local)已被证明在捕获语义分割的长期依赖关系方面是有效的。这些方法通常形成一个相似的通道特征图（通过压缩空间维度）或空间特征图（通过压缩通道）来描述沿通道或空间维度的特征关系。然而，这种做法倾向于在其他维度上压缩特征依赖性，从而导致注...

NAM: Normalization-based Attention Modulepaper:https://arxiv.org/pdf/2111.12419.pdfcode:https://github.com/Christian-lyc/NAM摘要注意机制是近年来人们普遍关注的研究兴趣之一。它帮助深度神经网络抑制较不显著的像素或通道。以往的许多研究都集中于通过注意力操作来捕捉显著特征。这些方法成功地利用了不同特征维度上的互信息。然而，它们没有考虑到权重的贡献因素，...

# -*- coding: utf-8 -*-"""CompactorLayer layers."""from __future__ import absolute_importfrom __future__ import divisionfrom __future__ import print_functionfrom keras import activationsfrom keras import initializersfrom keras import regularizers.

微软研究院Dynamic Convolution: Attention over Convolution Kernelspaper:https://arxiv.org/abs/1912.03458摘要轻量级权重卷积神经网络（CNN）由于其较低的计算预算限制了CNN的深度（卷积层的数量）和宽度（通道的数量），因此性能下降，导致特征表达能力有限。为了解决这个问题，提出了动态卷积，一种在不增加网络深度或宽度的情况下增加模型复杂性的新设计。动态卷积不是在每层使用单个卷积核，而是基于其注意力机制...

from keras.layers import Layer, Conv2Dimport tensorflow as tfclass AdaptConv2d(Layer): def __init__(self, outc, kernel_size=3, stride=1, bias=True, modulation=False): """ Args: modulation (bool, optional): If True, Modu.

南京大学Residual Attention: A Simple but Effective Method for Multi-Label Recognitionpaper:https://arxiv.org/abs/2108.02456摘要多标签图像识别是一项具有挑战性的计算机视觉实用任务。然而，这一领域的往往发展的特点是使用复杂的方法、大量的计算和缺乏直观的解释。为了有效地捕获来自不同类别的对象所占据的不同空间区域，提出了一个极其的简单模块，命名为类特定的残余注意(CSRA)。CSR..

Polarized Self-Attention: Towards High-quality Pixel-wise Regressionpaper:https://arxiv.org/pdf/2107.00782.pdfcode:https://github.com/DeLightCMU/PSAdef _PSA(x, mode='p'): context_channel = spatial_pool(x, mode) if mode == 'p': con...

def _ULSAM(inputs, num_splits=4): channel_axis = 1 if K.image_data_format() == 'channels_first' else -1 sub_feat = Lambda(lambda x: tf.split(x, num_splits, axis=channel_axis))(inputs) features = [] for i in range(num_splits): x = ..

paper:http://arxiv.org/abs/2012.11879code:https://github.com/dcdcvgroup/FcaNet这篇论文，将GAP推广到一种更为一般的2维的离散余弦变换（DCT）形式，通过引入更多的frequency analysis重新考虑通道的注意力。摘要注意机制，特别是通道注意，在计算机视觉领域取得了巨大的成功。许多工作集中在如何设计有效的通道注意机制，而忽略了一个基本问题，即通道注意机制使用标量来表示通道，这由于大量信息损失而困难。在这项工

paper:https://arxiv.org/pdf/2106.08382.pdfcode:https://github.com/abhinavsagar/DMSANet双多尺度注意力网络（DMSANet）在图像分类、目标检测和实例分割上均适用，性能优于EPSANet、FcaNet和SENet等网络摘要注意机制最近在计算机视觉领域很受欢迎。为了提高网络的性能，已经做了许多工作，尽管它几乎总是会增加计算复杂度。文章提出了一种新的注意模块，它不仅性能最好，而且具有较少的参数。文章中的注意模块可

中山大学paper:http://proceedings.mlr.press/v139/yang21o/yang21o.pdfcode:https://github.com/ZjjConan/SimAM

paper:https://arxiv.org/pdf/2105.14447v1.pdfcode:https://github.com/murufeng/EPSANet摘要近年来，研究表明，通过加入注意力机制可以有效地提高深度卷积神经网络的性能。本文提出了一种新的轻量级和有效的注意方法——金字塔拆分注意(PSA)模块。通过用ResNet瓶颈块中的PSA模块代替3x3卷积，得到了一种名为有效金字塔拆分注意(EPSA)的新表示块。EPSA模块可以很容易地作为一个即插即用组件添加到一个完善的主干网络中

paper:https://arxiv.org/pdf/2101.03697.pdfcode:https://github.com/DingXiaoH/RepVGG

训练深度网络时，神经网络隐层参数更新会导致网络输出层输出数据的分布发生变化，而且随着层数的增加，根据链式规则，这种偏移现象会逐渐被放大。这对于网络参数学习来说是个问题：因为神经网络本质学习的就是数据分布（representation learning），如果数据分布变化了，神经网络又不得不学习新的分布。为保证网络参数训练的稳定性和收敛性，往往需要选择比较小的学习速率（learning rate），同时参数初始化的好坏也明显影响训练出的模型精度，特别是在训练具有饱和非线性（死区特性）的网络。...

RepVGG: Making VGG-style ConvNets Great Againpaper:https://arxiv.org/pdf/2101.03697.pdfcode:https://github.com/DingXiaoH/RepVGG摘要提出了一个简单而强大的卷积神经网络结构，它具有一个类似VGG的推理时间体，只由3×3卷积和ReLU组成，而训练时间模型有一个多分支拓扑。训练时间和推理时间体系结构的解耦是通过结构再参数化技术实现的，因此该模型被命名为RepVGG。在Ima

Diverse Branch Block: Building a Convolution as an Inception-like Unit 旷视——2021CVPRpaper:https://arxiv.org/pdf/2103.13425.pdfcode:https://github.com/DingXiaoH/DiverseBranchBlock摘要提出了一个卷积神经网络(ConvNet)的通用构建块，以提高没有任何推理时间成本的性能。该块被命名为“不同分支块”(DBB)，它通过结

ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks 清华——ICCV2019paper:https://arxiv.org/pdf/1908.03930.pdfcode:https://github.com/DingXiaoH/ACNet摘要通过使用一维非对称卷积来加强方形卷积核的特征表达，可以让训练精度更高。在模型推理时，等价地将ACNet转换为相同