DO-Conv深度优化：提升CNN效能的新型卷积层

于 2024-08-18 10:31:32 发布
阅读量402 收藏 8
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gitblog_00909/article/details/141295166
版权

DO-Conv深度优化：提升CNN效能的新型卷积层

DO-Conv项目地址:https://gitcode.com/gh_mirrors/do/DO-Conv

在深度学习领域中，**DO-Conv（Depthwise Over-parameterized Convolutional Layer）**是一颗闪耀的新星，由一支跨领域的团队开发，并在2022年的《图像处理 transactions》上发表。这个创新的卷积层设计旨在不增加推理时计算开销的前提下，通过训练阶段的过参数化提升模型精度。

项目简介

DO-Conv由 Jinming Cao、Yangyan Li 等多位知名学者共同打造，其巧妙之处在于，在训练过程中采用更深入的参数空间探索，而无需牺牲部署时的效率。它可直接替换传统卷积层，在保持相同推理成本的同时，为各种CNN架构带来性能增益。

技术剖析

DO-Conv的核心理念是利用训练期间的深度过参数化来挖掘更多特征表示能力，之后通过融合操作将这些额外的参数简化回标准卷积层的形式，确保最终模型的执行效率不变。这种设计思路是对现有卷积神经网络理论的一次重要拓展，旨在在不增加实际运算负担的情况下，探索更高的准确性边界。

应用场景

DO-Conv广泛适用于图像分类、目标检测、语义分割等计算机视觉任务。特别是在对精度有着高要求但又受限于资源的应用环境中，如边缘计算设备上的实时图像识别或资源有限的数据中心，DO-Conv提供了一个理想方案，既能提高模型表现力，又能维持甚至优化资源利用率。

项目亮点

  • 兼容性强大：无缝对接TensorFlow、PyTorch和GluonCV生态，支持从MNIST到ImageNet的多种基准数据集。
  • 性能提升显著：在多个ResNet变种和其他架构上观察到了准确率的稳步提升，最高可达+1.01%的增益，展现了其在复杂网络中的有效性和通用性。
  • 零成本推理：训练阶段引入的额外参数在模型保存时会被融合，保证了推断阶段的效率与原生卷积层一致，无需额外硬件支持。
  • 易用性：提供详尽的示例代码和文档，无论是新手还是专家都能快速集成至自己的项目中，享受性能提升带来的好处。

随着深度学习应用的日益广泛，DO-Conv作为一种增强模型性能的高效工具，为研究人员和开发者打开了新的可能性。不论是在学术研究还是工业应用中，它都是值得尝试的先进组件，能在保持现有系统架构不变的基础上，实现性能的跃升。对于追求极致性能而又不愿妥协于计算效率的开发者来说，DO-Conv无疑是一个令人兴奋的选择。

DO-Conv项目地址:https://gitcode.com/gh_mirrors/do/DO-Conv

时飞城Herdsman
关注
YOLOv7改进结构系列：最新结合DO-DConv卷积提高性能涨点，打造高性能检测器
包括YOLOv5、YOLOv7、YOLOv8等模型改进
10-13 9743
YOLOv7、YOLOv5 结合 Slim范式+DO-DConv卷积 ，提高 CNN 在许多经典视觉任务（例如目标检测）上的性能
【YOLOv10改进-卷积Conv】 SPD-Conv空间深度转换卷积，处理低分辨率图像和小对象问题
最新发布
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-29 1535
卷积神经网络（CNNs）在许多计算机视觉任务中取得了巨大成功，例如图像分类和目标检测。然而，当面对图像分辨率低或对象较小的更加困难的任务时，它们的性能迅速下降。在本文中，我们指出这一问题根源于现有CNN架构中一个有缺陷但常见的设计，即使用了步长卷积和/或池化层，这导致了细粒度信息的丢失和较不有效的特征表示的学习。为此，我们提出了一种新的CNN构建块，名为SPD-Conv，用以替代每个步长卷积层和每个池化层（从而完全消除它们）。
DO-Conv:深度超参数化卷积层
03-20
DO-Conv：深度超参数化卷积层 由金明曹，创建，孙铭超，， ，，和。 介绍 DO-Conv是深度过参数化的卷积层，可在训练阶段用作CNN中常规卷积层的替代，以实现更高的精度。在推理阶段，DO-Conv可以融合到常规卷积层中，从而导致计算量与常规卷积层的计算量完全相同。 有关更多详细信息，请参见的，其中我们展示了DO-Conv在各种基准数据集/任务上的优势。 我们高度欢迎的问题 我们非常欢迎与DO-Conv相关的问题，而不是电子邮件，而不是电子邮件。 此外，如果在发行中提供最少的可复制示例代码，那将是很好的。 ImageNet分类性能 我们以的为基准。基线中的设置已经过调整，以适应基线，并且在切换到DO-Conv期间不会被触摸。换句话说，DO-Conv是唯一且仅在基线上进行更改的工具，并且没有进行任何超参数调整来支持DO-Conv。我们认为GluonCV具有很高的重现性，但是，为了尽可
DO-Conv 涨点模块
红叶谷 wsp_1138886114的博客
04-01 6870
文章目录0.动机1.传统的卷积和Depthwise卷积2.Depthwise over-parameterized卷积（DO-Conv）3.DO-DConv和DO-GConv4.在视觉任务中使用Depthwise over-parameterized卷积5.总结 DO-Conv无痛涨点：使用over-parameterized卷积层提高CNN性能 DO-Conv: Depthwise Over-parameterized Convolutional Layer 论文： https://arxiv.org/
【卷积网络】DO-Conv: Depthwise Over-parameterized Convolutional Layer论文速读笔记
qq_43004066的博客
12-04 5321
文章目录基本信息核心逻辑优势 基本信息 论文：https://arxiv.org/pdf/2006.12030.pdf 代码：https://github.com/yangyanli/DO-Conv 核心逻辑 上图是卷积核在一个滑动窗口区域上的一次标准卷积操作，注意这里没有滑动的过程，就是一次卷积操作。 其中M和N是卷积核在两个spatial方向上的大小，比如我们一般使用3*3卷积核，那这里就是M=3和N=3，这个图片就是指我们在Cin * 3 * 3的原图P上做了一次卷积操作，得到了1 * Cout的结
即插即用模块之DO-Conv（深度过度参数化卷积层）详解
weixin_47151388的博客
04-12 1852
卷积层是卷积神经网络(cnn)的核心组成部分。在本文中，我们建议用额外的深度卷积来增强卷积层，其中每个输入通道与不同的二维核进行卷积。这两个卷积的组合构成了一个过度参数化，因为它增加了可学习的参数，而结果的线性操作可以用单个卷积层来表示。我们把这个深度过度参数化的卷积层称为DO-Conv。我们通过大量的实验表明，仅仅用DO-Conv层替换传统的卷积层就可以提高cnn在许多经典视觉任务上的性能，例如图像分类、检测和分割。
doconv
03-18
doconv 该工具提供了一组功能，用于将“ Microsoft Word”或“ Microsoft PowerPoint”文档转换为“ PDF”格式，以及将其转换为缩略图形式的图像。为了正常工作，必须在计算机上安装“ LibreOffice”，可能还需要安装“ python”和“ Microsoft Word”。 安装 您可以使用以下命令从GitHub安装最新版本： # install.packages("devtools") devtools :: install_github( " ardata-fr/doconv " ) 例子 library( doconv ) 从文件生成缩略图 您可以通过使用to_miniature来生成图钉作为图像： docx_file <- system.file( package = " doconv " , " doc-examples/bookdo
doconv:带有打包在Docker映像中的简单HTTP API的文档转换服务
03-16
多康夫 带有简单HTTP API的文档转换服务打包在Docker映像中。 由LibreOffice和unoconv提供支持。 图书馆 选中此软件包可轻松使用Doconv服务。 用于node.js和浏览器的Javascript API客户端。 运行服务 docker run -p 3000:3000 ghcr.io/alexxnb/doconv 快速测试 将浏览器指向http://localhost:3000 ，您将看到一个表格，您可以在其中上传任何文档并下载所选格式的转换文件。 简单的客户示例 您可以创建一个表单，该表单会将文件发送到服务并下载生成的PDF文件。 < form action =" http://localhost:3000/convert/pdf " method =" POST " enctype =" multipart/form-data " > < in
DO-Conv无痛涨点：使用over-parameterized卷积层提高CNN性能
我爱计算机视觉
04-01 2373
DO-Conv: Depthwise Over-parameterized Convolutional Layer论文：https://arxiv.org/pdf/2006.12030.p...
【YOLOv8改进】 SPD-Conv空间深度转换卷积，处理低分辨率图像和小目标问题
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
02-06 6224
卷积神经网络（CNNs）在许多计算机视觉任务中取得了巨大成功，例如图像分类和目标检测。然而，当面对图像分辨率低或对象较小的更加困难的任务时，它们的性能迅速下降。在本文中，我们指出这一问题根源于现有CNN架构中一个有缺陷但常见的设计，即使用了步长卷积和/或池化层，这导致了细粒度信息的丢失和较不有效的特征表示的学习。为此，我们提出了一种新的CNN构建块，名为SPD-Conv，用以替代每个步长卷积层和每个池化层（从而完全消除它们）。
无卷积步长或池化:用于低分辨率图像和小物体的新 CNN 模块SPD-Conv
10-06
而无步长卷积层则用于在保持通道数量不变的情况下，利用可学习参数进行特征学习。 在SPD-Conv中，作者受到了图像转换技术的启发，该技术通常在输入神经网络前对图像进行缩放。然而，SPD-Conv的独特之处在于它能够在...
计算机视觉知识点-Depth Wise Separable Convolutional
蓝色的杯子
06-09 972
深度可分离卷积在谷歌的mobilenet和xception中得到的应用,比常规的卷积计算量少,提高了推理速度,并且可以抵抗overfitting. 那么计算量减少是如何做到的,或者说计算量的减少是指什么?今天我们来推导一下 现在推导一下一个标准卷积做了多少计算 计算输入数据的分辨率是DfXDf, 通道有M个,例如RGB3个通道 假设有N个filter, 每个filter的尺寸为DkXDkXM, 输出的尺寸为 DpXDPXN, 那么为了实现上图这个动作,需要的计算量为 DpXDpXNXDkXDk.
大盘点 | 十大即插即用的涨点神器！
云中寻雾的博客
09-04 8680
大盘点 | 十大即插即用的涨点神器！ 作者：Amusi Date：2020-08-11 来源：CVer微信公众号 链接：大盘点 | 十大即插即用的涨点神器！ 前言 最近出现了很多"即插即用"的网络模块，比如用来替换传统的卷积层，可以使你的网络轻松涨点！ 本文就来盘点一下近期（6.22-至今）较为亮眼的论文，也许对你目前的科研工作会有所帮助，或者有所启发。有意思的是Amusi 统计出正好10篇论文，其实每一篇都可以单独写出文章来分享，但这里汇总成大盘点系列，方便做对比和参考。 注：10篇论文PDF均
深度学习中的20种卷积
m0_61899108的博客
03-25 725
卷积，是卷积神经网络中最重要的组件之一。不同的卷积结构有着不一样的功能，但本质上都是用于提取特征。比如，在传统图像处理中，人们通过设定不同的算子来提取诸如边缘、水平、垂直等固定的特征。而在卷积神经网络中，仅需要随机初始化一个固定卷积核大小的滤波器，并通过诸如反向传播的技术来实现卷积核参数的自动更新即可。其中，浅层的滤波器对诸如点、线、面等底层特征比较敏感，深层的滤波器则可以用于提取更加抽象的高级语义特征，以完成从低级特征到高级特征的映射。本文将从背景、原理、特性及改进四个维度分别梳理10篇影响力深远的经典卷
YoloV8改进策略：卷积改进|DOConv轻量卷积，即插即用|适用各种场景
m0_47867638的博客
04-22 1420
本文使用DOConv卷积，替换YoloV8的常规卷积，轻量高效，即插即用！改进方法非常简单。DO-Conv（Depthwise Over-parameterized Convolutional Layer）是一种深度过参数化的卷积层，用于提高卷积神经网络（CNN）的性能。它的核心思想是在训练阶段使用额外的深度卷积来增强卷积层，其中每个输入通道与不同的二维核进行卷积。这两个卷积的组合构成了一个过度参数化，因为它增加了可学习的参数，而结果的线性操作可以用单个卷积层来表示。
一文看尽深度学习中的20种卷积（附源码整理和论文解读）
浩瀚之水的专栏
09-29 3375
引言 卷积，是卷积神经网络中最重要的组件之一。不同的卷积结构有着不一样的功能，但本质上都是用于提取特征。比如，在传统图像处理中，人们通过设定不同的算子来提取诸如边缘、水平、垂直等固定的特征。而在卷积神经网络中，仅需要随机初始化一个固定卷积核大小的滤波器，并通过诸如反向传播的技术来实现卷积核参数的自动更新即可。其中，浅层的滤波器对诸如点、线、面等底层特征比较敏感，深层的滤波器则可以用于提取更加抽象的高级语义特征，以完成从低级特征到高级特征的映射。本文将从背景、原理、特性及改进四个维度分别梳理10篇影响力深远
深度学习算法实践11---卷积神经网络（CNN）之卷积操作
热门推荐
Yt7589的专栏
08-29 1万+
卷积神经网络（CNN）主要特性有：稀疏连接和权值共享、卷积操作、池化。在前一篇博文中我们已经讨论了稀疏连接和权值共享，在本篇博文中，我们将介绍卷积操作和池化。正是由于对图像进行卷积操作，卷积神经网络才得以其名，可见卷积操作是其核心。在这篇博文中，我们将讨论卷积操作的实现其及物理含义。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

时飞城Herdsman

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值