论文阅读——Dynamic Convolution: Attention over Convolution Kernels

已于 2023-04-04 15:28:07 修改
阅读量102 收藏
点赞数
分类专栏： 论文 文章标签： 论文阅读 人工智能 深度学习
于 2023-04-04 10:31:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51426525/article/details/129946568
版权

原文链接：https://arxiv.org/abs/1912.03458 CVPR 2020 

该论文是在CondConv的基础上进行改进的。对CondConv生成权重部分进行改进，用SE（将最后的sigmod替换成softmax）注意力生成不同卷积核的权重。

动态卷积不是每层使用单个卷积核，而是根据输入相关的注意力动态聚合多个并行卷积核。

 训练策略：

  1. 注意力取值限制在0与1之间，同时所有注意力的和为1。即0＜\pi _{i}＜1，\sum\left (\pi _{i} \right )= 1；
  2. 早期训练时期的注意力要近乎一致。

参考文章： Dynamic Convolution: Attention over Convolution Kernels_JuyongJiang的博客-CSDN博客

keep--learning
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Dynamic-convolution-Pytorch:Pytorch !!! Pytorch !!! Pytorch !!! 动态卷积
05-29
Dynamic Convolution: Attention over Convolution Kernels (CVPR-2020) paper: 非官方实现代码 Pytorch!!!Pytorch!!!Pytorch!!! Dynamic 3d/2d convolution and some models' accuracy. 2020/8/30 Basic dynamic 2d...
matrix-convolution:矩阵卷积
05-03
安装npm i ml-matrix-convolution const MatrixConvolution = require ( 'ml-matrix-convolution' ) ;let matrix = [ [ 1 , 1 , 1 , 1 , 1 ] , [ 1 , 1 , 1 , 1 , 1 ] , [ 1 , 1 , 1 , 1 , 1 ] , [ 1 , 1 , 1 , 1 , ...
【论文阅读】Dynamic Convolution: Attention over Convolution Kernels（CVPR2020）
络小绎
03-25 1130
论文题目：Dynamic Convolution: Attention over Convolution Kernels（CVPR2020） 论文地址：https://arxiv.org/abs/1912.03458 代码地址：https://github.com/kaijieshi7/Dynamic-convolution-Pytorch https://github.com/prstrive/CondConv-tensorflow 2种代码均为非官方实现，其中pytorch代码讲解见[1]。
【论文笔记】ODConv：OMNI-DIMENSIONAL DYNAMIC CONVOLUTION
JehanRio's Private Blog
05-20 4153
本篇介绍一下动态卷积：ODConv，该方法通过并行策略采用多维注意力机制沿核空间的四个维度学习互补性注意力。作为一种“即插即用”的操作，它可以轻易的嵌入到现有CNN网络中。并且实验结果表明它可提升大模型的性能，又可提升轻量型模型的性能，实乃万金油是也！
动态卷积之CondConv和DynamicConv
jackzhang11的博客
04-13 6355
现在的诸多task中，普遍需要capacity较大的模型，而随着模型参数的不断增加，计算成本也越来越高。对于一些对latency有较高要求的task，显然是一种挑战。在传统的CNN网络中，一旦训练完成，所有的kernal参数就固定了。对于任意的输入，所有的kernal都对他们同等对待。所以为了提高模型的performance，大多数方法堆叠卷积层或者增加卷积层的参数，这种做法显然会造成 computationally expensive。 所以为了压缩模型，动态卷积就应运而生。动态卷积的出发点就是，当训练结
【论文笔记】Dynamic Convolution: Attention over Convolution Kernels
m0_61899108的博客
08-01 1768
相比高性能深度网络，轻量型网络因其低计算负载约束(深度与通道方面的约束)导致其存在性能降低，即比较有效的特征表达能力。为解决该问题，作者提出动态卷积它可以提升模型表达能力而无需提升网络深度与宽度。不同于常规卷积中的单一核，动态卷积根据输入动态的集成多个并行的卷积核为一个动态核，该动态核具有数据依赖性。多核集成不仅计算高效，而且具有更强的特征表达能力(因为这些核通过注意力机制以非线性形式进行融合)。.........
Dynamic Convolution: Attention over Convolution Kernels 论文阅读笔记
read, note and comment papers
07-13 329
这篇是CVPR2020的文章 目的是用更轻量化的网络提供更高的性能 因此采取了这样的结构，同一个层有多个卷积核，但是用attention网络组合成一个，这样增加了网络参数但是网络速度并没有多少降低 ...
Dynamic Convolution: Attention over Convolution Kernels
John's Blogs
06-25 1596
目录MotivationDynamic Convolution基本思路额外计算量DY难点Experiment 论文链接：https://arxiv.org/abs/1912.03458 Motivation 现象：轻量级卷积神经网络（light-weight convolutional neural network）因其较低的计算预算而限制了 CNN 的深度（卷积层数）和宽度（通道数），不仅导致模型性能下降，表示能力也会受到限制。 思路：要想不增加网络深度或宽度的情况下增加模型的表达能力（represent
[解读] Dynamic Convolution: Attention over Convolution Kernels
天在那边
04-25 5187
链接: https://arxiv.org/abs/1912.03458v2 本文针对卷积神经网络, 提出一种动态卷积模块, 仅增加很少的计算量, 来获得性能上的较大提升. 相近的工作 动态卷积中的 Attention 模块来源于 SENet[13] 网络, 它可以自动学习到不同通道特征的重要程度, 生成对应的权重, 这相当于一种注意力机制. 与 SENet 不同的是, 动态卷积处理的对象是卷积...
代码实现-CVPR2020-Dynamic Convolution: Attention over Convolution Kernels
LetItBe的博客
03-01 330
代码参考链接 链接 强调注意看issue部分，动态卷积的参数初始化很重要，Bias初始化的部分有错误。需要根据issue进行修改。self.bias = nn.Parameter(torch.zeros(K, out_planes)) 论文理解材料 链接 核心思想，原来是多个样本采用一组固定的卷积参数，现在是每个样本输入，对应生成一组卷积参数，训练的时候有K个卷积核参数，通过attention模块产生K个参数，组合叠加生成对应的一组卷积参数。 另外，高维特征适合作为动态卷积的输入，需要根据实际任务场景进行微
convolution:挑战10
05-03
卷积 挑战10：一点计算视野
time_convolution：时间卷积
02-21
时间卷积 时间卷积 离散时间卷积[pdf]： :
Convolution:简单的 OpenCL 卷积核
07-10
卷积 简单可调的卷积算法。 依赖关系 - 主分支 - 主分支 致谢 B. van Werkhoven、J.... 使用自适应平铺优化 GPU 上的卷积操作。 未来一代计算机系统，第 30 卷，第 0 期，第 14-26 页，2014 年 1 月。...
论文阅读——ApeGNN- Node-Wise Adaptive Aggregation in GNNs for Recommendation
weixin_43954673的博客
06-17 642
近年来，图神经网络（GNN）在推荐方面取得了长足的进步。基于 GNN 的推荐系统的核心机制是迭代聚合用户-项目交互图上的邻近信息。然而，现有的 GNN 平等对待用户和项目，无法区分每个节点的不同局部模式，这使得它们在推荐场景中表现不佳。为了解决这一挑战，我们提出了一种节点式自适应图神经网络框架 ApeGNN。ApeGNN 开发了一种用于信息聚合的节点式自适应扩散机制，其中每个节点都能够根据局部结构（例如程度）自适应地决定其扩散权重。我们在六个广泛使用的推荐数据集上进行了实验。
【论文阅读】-- Omnisketch：高效的多维任意谓词高速流分析
zijin-jdd的博客
06-13 614
不同学科的一个关键需求是对快节奏的数据流执行分析，其性质类似于关系数据库中的传统 OLAP 分析，即使用过滤器和聚合。然而，由于存储要求高，以及存储海量数据时引入的延迟，存储无界流不是一种现实或理想的方法。因此，已经提出了许多概要/草图，它们可以在小内存（通常足够小以存储在RAM中）中总结流，这样就可以有效地近似聚合查询，而无需存储整个流。然而，过去的概要主要关注对单一属性流的总结，无法有效地处理对多个属性的任意子集进行过滤和约束。在这项工作中，我们提出了OmniSketch，这是第一个能够适应快节奏和复杂
ResNet——Deep Residual Learning for Image Recognition(论文阅读)
Xiao_Ya__的博客
06-14 1065
ResNet——Deep Residual Learning for Image Recognition(论文阅读)
论文阅读：RAM++ | Open-Set Image Tagging with Multi-Grained Text Supervision
a486259的博客
06-16 659
发表时间：2023年11月16论文地址：https://arxiv.org/pdf/2310.15200项目地址：https://github.com/xinyu1205/recognize-anythingRecognize Anything Plus Model（RAM++），这是一种有效利用多粒度文本监督的开放集图像标记模型。以前的方法（例如，CLIP）主要利用与图像配对的全局文本监督，导致在识别多个单独的语义标签方面的次优性能。相比之下，RAM++无缝地集成了单个标签监督（tag。
[论文笔记]Are Large Language Models All You Need for Task-Oriented Dialogue?
最新发布
日积月累，天道酬勤
06-17 932
⭐ 作者测试了基于LLM做领域识别、状态追踪和响应生成。但是状态追踪的效果不好，如果想用LLM做TOD需要额外加入状态追踪逻辑。
dynamic convolution: attention over convolution kernels代码
09-09
这可以使用注意力机制的常见方案，如多层感知机（MLP）或自注意力机制（Self-Attention）来实现。 2. 接下来，将注意力权重乘以相应的卷积核。这可以通过将注意力权重与卷积核元素逐元素相乘来实现。这样，给定每个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值