CondConv：按需定制的卷积权重

最新推荐文章于 2023-02-23 21:37:23 发布
最新推荐文章于 2023-02-23 21:37:23 发布
阅读量6k 收藏 35
点赞数 16
文章标签： 机器学习 深度学习 条件计算 注意力机制 集成技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20759449/article/details/102835359
版权

原文链接：CondConv：按需定制的卷积权重 | Hey~YaHei!

最近正巧在看条件计算的东西，发现今年Google Brain发了一篇思路清奇的论文《CondConv: Conditionally Parameterized Convolutions for Efficient Inference(2019NeurIPS)》，这思路简直让人拍案叫绝，只可惜这种模型需要重新定制卷积算子才能有效发挥它的作用，如果没有工业界的推动想必短期内很难产生实用价值吧。
先来说说论文的主要贡献：条件计算、集成技术、注意力机制三者间的巧妙结合。

条件计算

如果是模型压缩是深度学习的一个边缘领域，那么条件计算一定是模型压缩里的边缘方向。如果你听过模型压缩，那你一定知道裁剪和量化，可能你还会知道一些紧凑网络的设计和知识蒸馏，但我打赌你十有八九没听过条件计算。

有一天我躺在床上睡觉，突然灵光一现——直观上讲，既然不同的layer乃至不同filter能提取出不同的特征，而对于不同的输入，我们所重视的特征必定也是不同的，是不是能设计出某个评估/预测模块从而智能地挑选合适layer、filter来计算而放弃无关layer、filter的计算呢？或者说当浅层特征足以完成推断，我们能不能提前从浅层特征图跳出而放弃后续深层特征的提取步骤呢？再或者，对于连续的视频流，有没有可能在浅层位置先预估出本帧图像的质量，从而判断是否放弃本帧图像的推断呢

最低0.47元/天 解锁文章
hey-yahei
关注
  • 16
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
CondConv: Conditionally Parameterized Convolutions for Efficient Inference
m0_47180208的博客
07-07 1329
用于有效推断的条件参数化卷积摘要引言相关工作条件参数化卷积结论 文章与代码 摘要 卷积层是现代深度神经网络的基本构件之一。一个基本假设是，卷积核应该为数据集中的所有示例共享。我们提出了条件参数化卷积，它为每个例子学习专门的卷积核。用CondConv替换正常卷积使我们能够增加网络的大小和容量，同时保持高效的推断。我们证明，在分类和检测任务上，使用CondConv缩放网络可以改善几种现有卷积神经网络架构的性能和推断成本权衡。 引言 我们提出了条件参数化卷积，通过计算卷积核作为输入的函数来挑战静态卷积核的范式。
【论文笔记】CondConv
Sonya_的博客
07-22 1742
题目： 发表于：2019NeurIPS 摘要： 卷积层是现代深度神经网络的基本构成结构，一个基本的假设是卷积核应该被数据集中的所有例子共享。我们提出了条件化的带参数的卷积，即condconv，可以对每一个例子都学到专门的卷积核。通过将一般卷积替换为CondConv能够在保持推理能力的同时，增加一个网络的尺寸和容量（同样多的参数下condconv的容量更大）。我们证明了，与现存的卷积神经网络结构在分类和检测任务上作比较，通过condconv扩展网络能够更好的平衡性能提升和推理成本。在ImageNet分类上，
condconv
f9547064141的博客
11-11 391
每一个w代表了一个卷积核，也就是一个feature的结果是多个卷积核线性叠加够的结果，网络自己学习每个w的权重
CondConvContinual：涂成浩，吴成恩和陈楚松，“扩展条件卷积结构以增强多任务持续学习”，亚太信号和信息处理协会亚太峰会，APSIPA ASC 2020年会
02-19
CondConvContinual 这是Pytorch官方实现 屠成浩，吴成恩和陈楚松创作 该代码仅供学术研究使用。 对于商业用途，请联系教授（ ）。 基准测试 介绍 在最近的深度学习研究中，条件运算已经引起了很多关注，以促进模型的预测准确性。 向此方向的最新进展是条件参数卷积（CondConv），提出利用条件深层模型权重提供的附加容量来增强性能，而对模型的计算复杂性的影响则要小得多。 CondConv使用依赖于输入的融合参数，这些参数可以自适应地组合多列卷积内核以提高性能。 在运行时，内核的列被在线组合成一个，因此，时间复杂度远小于在相同容量下在卷积层中使用多个列的时间复杂度。 尽管CondConv对于增强深层模型的性能有效，但目前仅应用于单个任务。 由于它具有添加模型权重和提高计算效率的良好特性，因此我们将其扩展到多任务学习，其中任务以递增方式呈现。 在这项工作中，我们介绍了一种基
（一）动态卷积之CondConv
Billie使劲学的博客
04-06 3623
题目：CondConv: Conditionally Parameterized Convolutions for Efficient Inference paper：paper code：code 目录 前言 CondConv是什么？ CondConv解决了什么问题？ CondConv做了怎样的工作？ 用了怎样的方法？ 实验结果 结论 要点总结（详细版） 前言 该文是谷歌大神Quov V.Le出品，一种条件卷积，我更愿称之为动态卷积。 卷积是当前CNN网络的基本构成单元之一
GrouPy:群等变卷积神经网络
05-02
GrouPy由以下模块组成： garray：转换变量数组（“组元素”） gfunc：一组转换上的函数数组gconv：在组等变卷积网络中使用的组卷积garray和gfunc模块用于快速预计算阶段，并在CPU上运行，而gconv用于训练和测试神经...
CDCN:中央差分卷积网络
04-23
疾病预防控制中心主要代码 基于中心差分卷积（CDC）和对比深度损失（CDL） ，我们实现了第一名在ChaLearn多模式遭遇反欺骗攻击检测挑战@ CVPR2020 第二名ChaLearn单模态（RGB）遭遇反欺骗攻击检测挑战@ CVPR2020 它...
HalideNN:使用 Halide 评估卷积神经网络
05-31
卷积神经网络（CNN，Convolutional Neural Network）是一种在图像识别、自然语言处理和许多其他领域广泛应用的深度学习模型。Halide 是一个强大的、开源的编程语言，专门设计用于图像处理和计算机视觉任务，其优化...
Convnet:Python - Numpy 卷积神经网络
05-31
卷积神经网络（Convolutional Neural Networks，简称CNNs）是一种深度学习模型，特别适合处理图像数据。在Python中，虽然有许多库如TensorFlow、Keras或PyTorch提供了便捷的方式来构建和训练CNN，但使用Numpy从零...
稀疏矩阵卷积：稀疏矩阵的卷积-matlab开发
05-30
在本文中，我们将深入探讨稀疏矩阵卷积的概念及其在MATLAB环境中的实现。稀疏矩阵是处理大型数据集时非常重要的数据结构，因为它能够高效地存储和操作那些大部分元素为零的矩阵。传统的卷积操作在处理稀疏矩阵时可能...
CondConv：用于有效推理的条件参数化卷积
最新发布
m0_63642362的博客
02-23 810
卷积层是现代深度神经网络的基本构建块之一。一个基本假设是卷积核应该为数据集中的所有实例共享。我们提出了条件参数化卷积（CondConv），它为每个实例学习专门的卷积核。用CondConv代替正规卷积使我们能够增加网络的大小和容量，同时保持有效的推理。我们证明了使用CondConv缩放网络改进了几种现有卷积神经网络架构在分类和检测任务上的性能和推理成本权衡。在ImageNet分类中，我们应用于EfficientNet-B 0的CondConv方法仅需413 M次乘加运算即可实现78.3%准确率的最先进性能。
CondConv--动态卷积思想
panghuzhenbang的博客
05-16 1643
论文地址： 《CondConv: Conditionally Parameterized Convolutions for Efficient Inference》 问题 常规卷积具有权值共享的特点，即所有的样本共享卷积网络中的卷积参数，因此，若想提升模型的容量，就需要增加网络的深度或者宽度，这会导致模型的计算量和参数量增加，模型部署难度大；然而，在某些cv应用中，要求模型的实时性高，及需要模型拥有较低的参数量和计算量。 思想 作者提出一种条件参数卷积用于解决上述问题，它通过输入计算卷积核参数打破
condconv代码解析
乐趣是人为构建的，构建是一种莫大的乐趣。
06-19 483
代码解析
CondConv代码解析
中国海洋大学AI前沿理论组
02-15 1851
论文地址：https://arxiv.org/abs/1904.04971 复现代码（Pytorch版本，网友复现）：https://github.com/xmu-xiaoma666/External-Attention-pytorch/blob/master/model/conv/CondConv.py 最近几个公众号对 CondConv 这个经典的方法进行了回顾，我们也对该方法的代码进行解析。 CondConv 是谷歌团队发表于NeurIPS 2019的一个工作，非常经典，可能看作为动态网络的开端，.
【经典重温】所有数据无需共享同一个卷积核！谷歌提出条件参数化卷积CondConv（附Pytorch复现代码）...
我爱计算机视觉
02-07 1171
关注公众号，发现CV技术之美▊写在前面卷积层是深度神经网络的基本组成部分之一，目前的卷积网络的一个基本假设是卷积核应该为数据集中的所有样本所共享 。在本文中，作者打破了这个假设，提出了条...
条件参数化卷积CondConv
qq_42075634的博客
04-11 1075
CondConv: Conditionally Parameterized Convolutions for Efficient InferenceN，eurIPS 2019 CondConv：用于高效推理的条件参数化卷积 论文 官方源码 摘要： 卷积层是现代深度神经网络的基本组成部分之一。一个基本假设是，数据集中的所有示例都应该共享卷积核。我们提出了条件参数化卷积（CondConv），它为每个示例学习专门的卷积核。用 CondConv 替换普通卷积使我们能够增加网络的大小和容量，同时保持有效的推理。我们证
深度理解特斯拉自动驾驶解决方案 1：HydraNet
Alex
01-19 5324
从理论到现实，分析特斯拉全自动驾驶的演变。 在2021年特斯拉举办的AI Day中，首次全面详细地介绍了AI & autopilot。 作为一名人工智能从业者，特别是如果你专注于自动驾驶领域，你应该学习特斯拉AI Day的第一部分。 活动结束几周后，我仔细的回顾了视频，搜索、下载、阅读了视频中涉及到的所有论文，做了大量的笔记。渐渐地，我勾勒出了特斯拉FSD的架构。 接下来，我将尝试从软件工程师的角度来探讨特斯拉是如何实现人工智能和自动驾驶功能的。 在开始之前，请和我一起思考一个问题。如果你作为.
自用dyconv
weixin_41595822的博客
09-19 223
自用代码
动态卷积论文复现
sunlanchang的博客
01-03 2049
微软最新文章Dynamic Convolution: Attention over Convolution Kernels中动态卷积的复现。 class DYconv(nn.Module): def __init__(self, inchannel,outchannel ,kernel_size,stride,reduction=4,K=4,t=30): super(DY...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值