- 博客(3)
- 收藏
- 关注
RSS订阅原创 SlimConv： 通过权重翻转减少卷积神经网络中的信道冗余
顶部变换器 F3×3 是一个卷积层，内核大小为 3。核大小为 1 的卷积层将通道数减半，然后是核大小为 3 的卷积层。其中，z 2 R C 包含信道统计量，σ 指的是 sigmoid 函数，δ 是 ReLU[29]激活。给定一个输入特征图： 如图 2 所示，我们用内核大小为 1 × 1 的卷积层代替全连接层（fc），并使用较大的缩减比 32 作为默认设置。然后，我们利用翻转的通道权重 ˇw 进行与顶部路径相同的操作，以获得半通道特征 X 0 ˇw。在顶部路径中，我们将特征乘以 w，得到加权特征 Xw。
2024-03-21 10:22:29
519
原创 注意力机制：cloformer
CloFormer利用上下文感知的局部增强，探索了全局共享权重（在普通卷积操作中常用）与注意力机制中的特定于标记的上下文感知权重之间的关系。为了捕捉高频局部信息，CloFormer引入了一种称为AttnConv的模块，其结合了卷积操作和注意力机制的风格。AttnConv使用共享权重聚合局部信息，并使用精心设计的上下文感知权重增强局部特征。在CloFormer中，AttnConv和使用池化来减少FLOPs的普通注意力机制的组合使模型能够感知高频和低频信息。
2024-03-06 22:25:31
2226
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人