论文阅读——Dynamic Convolution: Attention over Convolution Kernels

已于 2023-04-04 15:28:07 修改
阅读量102 收藏
点赞数
分类专栏： 论文 文章标签： 论文阅读 人工智能 深度学习
于 2023-04-04 10:31:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51426525/article/details/129946568
版权

原文链接：https://arxiv.org/abs/1912.03458 CVPR 2020 

该论文是在CondConv的基础上进行改进的。对CondConv生成权重部分进行改进，用SE（将最后的sigmod替换成softmax）注意力生成不同卷积核的权重。

动态卷积不是每层使用单个卷积核，而是根据输入相关的注意力动态聚合多个并行卷积核。

 训练策略：

  1. 注意力取值限制在0与1之间，同时所有注意力的和为1。即0＜\pi _{i}＜1，\sum\left (\pi _{i} \right )= 1；
  2. 早期训练时期的注意力要近乎一致。

参考文章： Dynamic Convolution: Attention over Convolution Kernels_JuyongJiang的博客-CSDN博客

keep--learning
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Dynamic-convolution-Pytorch:Pytorch !!! Pytorch !!! Pytorch !!! 动态卷积
05-29
Dynamic Convolution: Attention over Convolution Kernels (CVPR-2020) paper: 非官方实现代码 Pytorch!!!Pytorch!!!Pytorch!!! Dynamic 3d/2d convolution and some models' accuracy. 2020/8/30 Basic dynamic 2d...
matrix-convolution:矩阵卷积
05-03
安装npm i ml-matrix-convolution const MatrixConvolution = require ( 'ml-matrix-convolution' ) ;let matrix = [ [ 1 , 1 , 1 , 1 , 1 ] , [ 1 , 1 , 1 , 1 , 1 ] , [ 1 , 1 , 1 , 1 , 1 ] , [ 1 , 1 , 1 , 1 , ...
【论文阅读】Dynamic Convolution: Attention over Convolution Kernels（CVPR2020）
络小绎
03-25 1133
论文题目：Dynamic Convolution: Attention over Convolution Kernels（CVPR2020） 论文地址：https://arxiv.org/abs/1912.03458 代码地址：https://github.com/kaijieshi7/Dynamic-convolution-Pytorch https://github.com/prstrive/CondConv-tensorflow 2种代码均为非官方实现，其中pytorch代码讲解见[1]。
【论文笔记】ODConv：OMNI-DIMENSIONAL DYNAMIC CONVOLUTION
JehanRio's Private Blog
05-20 4167
本篇介绍一下动态卷积：ODConv，该方法通过并行策略采用多维注意力机制沿核空间的四个维度学习互补性注意力。作为一种“即插即用”的操作，它可以轻易的嵌入到现有CNN网络中。并且实验结果表明它可提升大模型的性能，又可提升轻量型模型的性能，实乃万金油是也！
动态卷积之CondConv和DynamicConv
jackzhang11的博客
04-13 6382
现在的诸多task中，普遍需要capacity较大的模型，而随着模型参数的不断增加，计算成本也越来越高。对于一些对latency有较高要求的task，显然是一种挑战。在传统的CNN网络中，一旦训练完成，所有的kernal参数就固定了。对于任意的输入，所有的kernal都对他们同等对待。所以为了提高模型的performance，大多数方法堆叠卷积层或者增加卷积层的参数，这种做法显然会造成 computationally expensive。 所以为了压缩模型，动态卷积就应运而生。动态卷积的出发点就是，当训练结
【论文笔记】Dynamic Convolution: Attention over Convolution Kernels
m0_61899108的博客
08-01 1772
相比高性能深度网络，轻量型网络因其低计算负载约束(深度与通道方面的约束)导致其存在性能降低，即比较有效的特征表达能力。为解决该问题，作者提出动态卷积它可以提升模型表达能力而无需提升网络深度与宽度。不同于常规卷积中的单一核，动态卷积根据输入动态的集成多个并行的卷积核为一个动态核，该动态核具有数据依赖性。多核集成不仅计算高效，而且具有更强的特征表达能力(因为这些核通过注意力机制以非线性形式进行融合)。.........
Dynamic Convolution: Attention over Convolution Kernels 论文阅读笔记
read, note and comment papers
07-13 329
这篇是CVPR2020的文章 目的是用更轻量化的网络提供更高的性能 因此采取了这样的结构，同一个层有多个卷积核，但是用attention网络组合成一个，这样增加了网络参数但是网络速度并没有多少降低 ...
Dynamic Convolution: Attention over Convolution Kernels
John's Blogs
06-25 1599
目录MotivationDynamic Convolution基本思路额外计算量DY难点Experiment 论文链接：https://arxiv.org/abs/1912.03458 Motivation 现象：轻量级卷积神经网络（light-weight convolutional neural network）因其较低的计算预算而限制了 CNN 的深度（卷积层数）和宽度（通道数），不仅导致模型性能下降，表示能力也会受到限制。 思路：要想不增加网络深度或宽度的情况下增加模型的表达能力（represent
[解读] Dynamic Convolution: Attention over Convolution Kernels
天在那边
04-25 5189
链接: https://arxiv.org/abs/1912.03458v2 本文针对卷积神经网络, 提出一种动态卷积模块, 仅增加很少的计算量, 来获得性能上的较大提升. 相近的工作 动态卷积中的 Attention 模块来源于 SENet[13] 网络, 它可以自动学习到不同通道特征的重要程度, 生成对应的权重, 这相当于一种注意力机制. 与 SENet 不同的是, 动态卷积处理的对象是卷积...
代码实现-CVPR2020-Dynamic Convolution: Attention over Convolution Kernels
LetItBe的博客
03-01 332
代码参考链接 链接 强调注意看issue部分，动态卷积的参数初始化很重要，Bias初始化的部分有错误。需要根据issue进行修改。self.bias = nn.Parameter(torch.zeros(K, out_planes)) 论文理解材料 链接 核心思想，原来是多个样本采用一组固定的卷积参数，现在是每个样本输入，对应生成一组卷积参数，训练的时候有K个卷积核参数，通过attention模块产生K个参数，组合叠加生成对应的一组卷积参数。 另外，高维特征适合作为动态卷积的输入，需要根据实际任务场景进行微
convolution:挑战10
05-03
卷积 挑战10：一点计算视野
time_convolution：时间卷积
02-21
时间卷积 时间卷积 离散时间卷积[pdf]： :
Convolution:简单的 OpenCL 卷积核
07-10
卷积 简单可调的卷积算法。 依赖关系 - 主分支 - 主分支 致谢 B. van Werkhoven、J.... 使用自适应平铺优化 GPU 上的卷积操作。 未来一代计算机系统，第 30 卷，第 0 期，第 14-26 页，2014 年 1 月。...
STORM论文阅读笔记
read, note and comment papers
06-17 747
这是篇NIPS2023的 world model 论文 文章提出，WM的误差会在训练过程中积累从而影响policy的训练，向WM中加噪声可以改善这一点。 其他的流程和IRIS差不多，差别在以下几点： image encoder，IRIS用的VQVAE, 本文用的是VAE，用VAE的采样方式来生成zt，从而为zt加噪声。 sequence model，IRIS用GPT循环输出image的每个token，本文直接用MLP把生成的 ztz_tzt​ 和动作 ata_tat​ 输出成一个token，这样GPT
TWM论文阅读笔记
read, note and comment papers
06-17 782
lzarzaht​ht​rt​γt​zt1​pf3l−1lht​rt​dt​γγγγγt​0γt​γγ0γot​ot​zt​ht​zt​。
transdreamer 论文阅读笔记
read, note and comment papers
06-18 311
这篇文章是对dreamer系列的改进，是一篇world model 的论文 改进点在于，dreamer用的是循环神经网络，本文想把它改成transformer，并且希望能利用transformer实现并行训练。 改成transformer的话有个地方要改掉，dreamer用ht和xt来预测zt，但transformer要实现并行训练的话，最好是不要有ht，因为ht依赖transformer来预测，而transformer又需要zt作为输入，形成循环依赖就只能一步一步地生成。为此，把zt的预测改成只依赖于
【论文阅读】场景生成及编辑&3D定位论文阅读
最新发布
weixin_44955407的博客
06-23 827
<div id="content_views" class="htmledit_views" style="user-select: auto;"> <div class="kdocs-document"> 前置知识 归纳偏置 关于归纳偏置的理解：首先推荐一篇解释归纳偏置非常好的博客：浅谈归纳偏置 (InductiveBias) 通俗的，归纳偏置可以理解为，从现实生活中观察
[论文笔记]Are Large Language Models All You Need for Task-Oriented Dialogue?
日积月累，天道酬勤
06-17 1102
⭐ 作者测试了基于LLM做领域识别、状态追踪和响应生成。但是状态追踪的效果不好，如果想用LLM做TOD需要额外加入状态追踪逻辑。
dynamic convolution: attention over convolution kernels代码
09-09
这可以使用注意力机制的常见方案，如多层感知机（MLP）或自注意力机制（Self-Attention）来实现。 2. 接下来，将注意力权重乘以相应的卷积核。这可以通过将注意力权重与卷积核元素逐元素相乘来实现。这样，给定每个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值