33、变种卷积 - 分组卷积

最新推荐文章于 2024-10-08 21:56:46 发布
最新推荐文章于 2024-10-08 21:56:46 发布
阅读量458 收藏 9
点赞数 6
分类专栏： CV视觉算法入门与调优 文章标签： 深度学习 神经网络 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dongtuoc/article/details/134969453
版权
分组卷积是卷积神经网络的一种变种，通过将通道维度分组来减少计算和内存开销。它最初在2012年ImageNet竞赛中被提出，用于解决GPU资源有限的问题。分组卷积在数学上与原始卷积不等价，但通过channel维度的shuffle操作，可以实现更好的特征融合，保持模型性能。
摘要由CSDN通过智能技术生成

这一节再了解一个卷积的变种，叫作分组卷积，这部分了解即可。

1、 什么是分组卷积

网上有很多关于分组卷积的资料。我整理了下，其实分组卷积是将卷积在channel 维度分组来计算，以达到将一个大卷积分成多个小卷积的目的。

为了清晰，我将卷积操作简化为一次最简单的乘累加运算，channel维度只有2个数据，如下图。

正常的卷积操作，A 和B的乘累加，计算的是 1x3 + 2x4 = 11。

而如果将其在channel维度分组(例子中channel维度只有两个数据，我们就分成两组)，那么会是这样

第一组只计算chann

了解本专栏 订阅专栏 解锁全文 超级会员免费看
董董灿是个攻城狮
关注
专栏目录
订阅专栏
级联里德-所罗门和偏振调整卷积（PAC）码_Concatenated Reed-Solomon and Polarization
02-08
PAC码是一种卷积码变种，其特点是可能会引入最大长度为N的突发错误。因此，设计外层的RS码时，需要确保它能纠正这些突发错误。此外，采用交织器可以将由PAC码和物理信道产生的长度最多为N的突发错误分散到不同的RS码...
卷积的变种之分组卷积
weixin_42621901的博客
09-28 924
分组卷积 介绍 分组卷积最初是在AlexNet网络中出现的，主要为了解决单个GPU无法处理含有大量计算量和存储需求的卷积层这个问题。目前，分组卷积多被用于构建用于移动设备的小型网络模型。例如深度可分离卷积。 原理 在介绍原理之前，需要放上一张经典的图示（图片来源）。 其中，最上面的是传统卷积操作的示意图，下面的是分组卷积操作的示意图。 对分组卷积操作的说明： 既然是分组卷积，肯定是需要对输入特征图进行分组，例如： 将输入特征图根据通道数分成g组，则每组输入特征图的尺寸为 HW(c1/g)HW(c_1/
卷积变种（常规卷积、空洞卷积、多尺度卷积、分组卷积、可分离卷积、DCN形变卷积）
认真努力，做一只会飞的毛毛虫。
11-01 6946
卷积的目的： 浅层：从输入图像中提取不同方面的特征，比如水平，垂直 ，边缘或对角线。 深层：通过浅层特征的组合，提取更加抽象的高层语义特征或全局特征。 卷积变化的目的： 提高模型精度：对精度要求比较严格的场景。 提高推理速度： 对实时性要求比较严格的场景。 常规卷积 计算方式：卷积核在输入特征图上滑动并计算内积 超参数：kernel size：卷积核尺寸大小；padding：输入填充的圈数；stride：卷积核滑动步长。 输出尺寸计算公式： 空洞卷积 目的：常规卷积感受野太..
计算机视觉的应用29-卷积神经网络(CNN)中的变种：分组卷积、转置卷积、空洞卷积的计算过程
weixin_42878111的博客
04-27 1597
大家好，我是微学AI，今天给大家介绍一下计算机视觉的应用29-卷积神经网络(CNN)中的变种：分组卷积、转置卷积、空洞卷积的计算过程。分组卷积将输入通道分为几组，对每组独立进行卷积操作，以减少计算量和模型参数。转置卷积也称为反卷积，它通过将输入特征图的元素扩展到更高维度的输出特征图来执行上采样。空洞卷积通过在输入特征图上引入“空洞”或“间隙”来增加感受野，从而在不增加额外参数的情况下扩大卷积核的有效覆盖范围。
深度学习笔记（一）：卷积变种（分组卷积、空洞卷积、深度可分离卷积、可形变卷积） 卷积中的不一样的操作
生活需要深度
07-19 434
AlexNet中用到了一些非常大的卷积核，比如11×11、5×5卷积核，之前人们的观念是，卷积核越大，receptive field（感受野）越大，看到的图片信息越多，因此获得的特征越好。图来自微软亚洲研究院公众号要做到这个操作，可以直接在原来的过滤器前面再加一层过滤器，这层过滤器学习的是下一层卷积核的位置偏移量（offset），这样只是增加了一层过滤器，或者直接把原网络中的某一层过滤器当成学习offset的过滤器，这样实际增加的计算量是相当少的，但能实现可变形卷积核，识别特征的效果更好。
深度学习基础--卷积的变种
wang6562009的专栏
09-06 1245
卷积变种简介
卷积神经网络超详细介绍
热门推荐
呆呆的猫的博客
09-19 61万+
海量的有标记的训练数据，也就是李飞飞团队提供的大规模有标记的数据集ImageNet计算机硬件的支持，尤其是GPU的出现，为复杂的计算提供了强大的支持算法的改进，包括网络结构加深、数据增强（数据扩充）、ReLU、Dropout等AlexNet之后，深度学习便一发不可收拾，分类准确率每年都被刷榜，下图展示了模型的变化情况，随着模型的变深，Top-5的错误率也越来越低，目前已经降低到了3.5%左右，同样的ImageNet数据集，人眼的辨识错误率大概为5.1%，也就是深度学习的识别能力已经超过了人类。
浅谈卷积及其变种
weixin_47357629的博客
03-14 5157
图像的卷积：取原始图像（u,v）处的矩阵，通过和卷积核的卷积运算，得到一个新的矩阵，新的矩阵（u,v）处的值就是原始图像（u,v）处的卷积。
对卷积神经网络认识的进一步加强（卷积变种：分组卷积、空洞卷积、深度可分离卷积、可形变卷积）
我是天才很好
06-13 1562
一、分组卷积 Group convolution Group convolution分组卷积，最早在AlexNet中出现，由于当时的硬件资源有限，训练AlexNet时卷积操作不能全部放在同一个GPU处理，因此作者把feature maps分给多个GPU分别进行处理，最后把多个GPU的结果进行融合。 二、卷积核一定越大越好？-- 3×3卷积核 AlexNet中用到了一些非常大的卷积核，比如11×11、5×5卷积核，之前人们的观念是，卷积核越大，receptive field（感受野）越大，看到的图片信息越多
卷积神经网络内容概括
Hanzoe的博客
08-22 2175
卷积神经网络内容概括 卷积神经网发展历程和基本概念 内容概括 什么是卷积神经网络 以卷积结构为主，搭建起来的深度网络。 将图片作为网络的输入（n(批次）,w（宽度）,h（长度）,c（图的通道数量）)，自动提取特征，并且对图像的变形等具有高度不变形。 重要的组成单元 卷积运算的定义 卷积的基本定义 对图像和滤波矩阵（卷积核）做内积（逐个元素相乘在求和）的操作 滤波器：可以理解为卷积，可以通过滤波...
双向卷积递归神经网络的情感分析提升：分组增强机制的应用
传统的深度神经网络模型，如卷积神经网络（CNN）和递归神经网络（RNN），尤其是其变种如长短期记忆（LSTM）和门控递归单元（GRU），在文本分类任务上展现了显著的效果。然而，这些模型在处理文本序列时，尽管能捕捉...
多尺度残差图卷积网络（MSR-GCN）用于人体运动预测
最近，图卷积网络已被证明是非常有效的学习姿态关节之间的动态关系，这是有助于姿态预测。另一方面，可以递归地抽象人类姿势以获得多个尺度下的姿势集合随着抽象层次的增加，姿态的运动变得更加稳定，这也有利于姿态...
细说机器学习和深度学习
moandaylab
10-08 1074
神经网络，也称人工神经网络。人工神经网络是一种运算模型（就是输入输出的映射），由大量的节点（或称神经元）之间相互联接构成。运算模型指的是：从输入到输出的一种映射。每个神经元里存储着若干权重（weight）、偏置（bias）和一个激活函数（activation）。输入乘上权重加上偏置，经过激活函数得到输出。激活函数用于添加一些非线性变换。神经网络通常包含一个输入层、若干隐藏层、一个输出层。输入层通常不用于计算神经网络的层数。
【深度学习】— 多层感知机介绍、 隐藏层、从线性到非线性、线性模型的局限性
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
10-05 1029
在第 3 节中，我们介绍了 softmax 回归，并实现了其从零开始的实现和基于高级 API 的实现，训练了分类器来识别 10 类服装图像。这种网络共有 2 层，每层都是全连接的，每个输入都会影响隐藏层中的每个神经元，而隐藏层中的每个神经元又会影响输出层中的每个神经元。最简单的方法是堆叠多个全连接层，每一层的输出作为下一层的输入，最终生成输出。线性模型假设输入特征与输出之间的关系是单调的，例如收入增加会增加偿还贷款的概率，但这种关系不是线性的。个隐藏单元的单隐藏层多层感知机（MLP），隐藏层的输出可以用。
深度学习的未来：推动人工智能进化的新前沿
2301_78944833的博客
10-04 1291
深度学习技术已经在多个领域展现了巨大的潜力，并正在改变我们的日常生活。从图像识别到自然语言处理，深度学习为我们带来了更加智能化的应用和服务。尽管面临数据依赖、计算资源、可解释性等挑战，但随着自监督学习、边缘计算和多模态学习等技术的不断进步，深度学习将继续推动人工智能的前沿发展，为各行各业带来更多创新和机遇。
清韵千言APP：一款基于RNN架构并深度优化的语言模型应用
weixin_65502565的博客
10-06 685
清韵千言APP以其独特的GRU架构和单字token化技术，为用户提供了高效、智能的语言处理能力。它不仅支持在消费级CPU上进行高效训练与微调，还在消费级CPU上甚至能够超过25tps的处理速度，确保了对话的流畅性和实时性，同时还支持根据URL页面内容进行微调，从而快速实现基于某本小说进行微调的小说风格续写、基于微调的新闻续写等。此外，该应用所使用的模型省略了预训练步骤，所有官方模型的所有训练数据均由人工编写，无任何无不良信息，为用户营造了一个安全、健康的交流环境。
RNN（循环神经网络）简介及应用
最新发布
m0_73697499的博客
10-08 793
RNN作为一种处理序列数据的强大工具，已经在众多领域展现了其独特的优势。随着技术的进步，我们期待RNN及其变种能够在更多复杂的任务中发挥更大的作用。如果你对RNN感兴趣，建议深入研究其背后的数学原理及其实现细节。
基于深度学习的编程错误自动修复
weixin_42605076的博客
10-05 1163
基于深度学习的编程错误自动修复（Automated Code Repair Using Deep Learning）是一种利用深度学习技术自动检测、定位并修复代码中的错误的技术。它旨在减少开发者手动调试和修复代码的时间，并提高代码的质量和可靠性。这一技术在大规模软件开发中具有显著的应用价值，尤其在提升开发效率、减少故障恢复时间方面表现突出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董董灿是个攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值