![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
移动端深度学习
文章平均质量分 92
calvinpaean
Carpe diem.
展开
-
ResRep Lossless CNN Pruning via Decoupling Remembering and Forgetting 论文学习
Abstract本文提出了一个新颖的方法 ResRep,用于无损的通道剪枝(即滤波器剪枝),它通过降低卷积层的宽度(输出通道的个数)对CNN做剪枝。在神经生物学中,记忆和遗忘是独立的。受此启发,作者提出将CNN重参数化为记忆部分和遗忘部分,前者学习保持模型的性能,后者学习如何剪枝。对前者用标准的 SGD 来训练,但对后者会采用一个新的更新策略,对其梯度做惩罚,这样就可实现结构稀疏性。然后,我们将记忆和遗忘部分等价地融合进原来的结构中,网络层要窄一些。这个方法将 ResRep 和传统的、基于学习的剪枝范式区原创 2021-09-26 18:12:29 · 668 阅读 · 0 评论 -
MutualNet: Adaptive ConvNet via Mutual Learning from Network Width and Resolution论文学习
Abstract本文提出了宽度-分辨率相互学习的方法(MutualNet),根据动态的资源约束来训练网络,实现运行时自适应的准确率-效率的平衡。该方法利用不同的宽度和输入分辨率,训练了多个子网络,每个网络都互相学习多尺度的特征表示。相对于目前SOTA的自适应网络 US-Net,本文方法在ImageNet上取得了更高的top-1准确率,要比最优的复合尺度的MobileNet和EfficientNet 高1.5%1.5\%1.5%。在COCO目标检测、实例分割和迁移学习任务上,该方法也进行了验证。Mutual原创 2020-07-06 18:12:03 · 1671 阅读 · 0 评论 -
ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks 论文学习
Abstract通道注意力机制被证明可以极大地提升CNN的表现。但是,现有的方法都致力于设计出更复杂的注意力模块,来实现更高的准确率,不可避免地增加模型的复杂度。为了克服表现与复杂度之间的trade-off,作者提出了一个高效的通道注意力(ECA)模块,只用少量的参数,却能带来明显的性能提升。通过分析SENet中的通道注意力模块,作者证明保持维度对于学习通道注意力非常重要,合适的跨通道交流可以保持性能,而极大地降低复杂度。因此,本文提出了一个局部跨通道交流策略,不需要降维,可以通过1D卷积高效率地实现。而原创 2020-07-03 11:25:56 · 1443 阅读 · 1 评论 -
GhostNet: More Features from Cheap Operations 论文学习
Abstract在嵌入式设备上设计卷积网络很困难,主要因为内存和计算资源有限。特征图冗余是这些CNN的一个重要特点,但是很少在网络结构设计上得到研究。本文提出了一个创新的 Ghost 模块,通过低成本的操作输出更多的特征图。基于一组内在的特征图,作者使用一系列低成本的线性变换就可以产生许多的 ghost 特征图,可以充分地揭示内在特征的信息。Ghost 模块可以作为一个即插即用的组建来对现有卷积网络做升级。Ghost bottlenecks 用于堆叠 Ghost 模块,然后我们就可以构建轻量级的 Ghos原创 2020-06-07 16:33:06 · 542 阅读 · 0 评论 -
EfficientNet 论文学习
Abstract人们通常是在固定的计算资源下设计CNN,更多的计算资源也就意味着更高的准确率。本文系统地研究了模型的缩放,提出仔细地平衡网络的深度、宽度和图像分辨率可以得到更优的性能。基于此发现,作者提出了一个新的缩放方法,通过一个简单而有效的复合系数来统一地缩放深度/宽度/分辨率的所有维度。作者证明该方法对 MobileNets 和 ResNet 的缩放是有效的。更进一步,作者使用神经结构搜...原创 2020-03-24 23:20:18 · 451 阅读 · 0 评论 -
MobileNetV2 论文学习
MobileNetV2: Inverted Residuals and Linear BottlenecksMobileNetV2是对MobileNetV1的改进,同样是一个轻量化卷积神经网络。MobileNetV2主要基于倒置残差结构,shortcut连接存在于bottleneck层中间。中间的扩展层使用轻量depthwise卷积来非线性地筛选特征。此外,作者发现移除非线性对于保持模型的特征...原创 2018-11-13 09:20:46 · 513 阅读 · 0 评论 -
MobileNet 论文学习
这篇论文介绍了一种应用在移动设备上的网络结构,MobileNet.原创 2018-11-12 22:21:16 · 262 阅读 · 0 评论 -
Squeeze-and-Excitation Networks 论文学习
Introduction人们已经证明卷积网络可以有效地解决诸多计算机视觉任务。在网络的每一个卷积层上,每个输入通道都有一组滤波器来表示附近空间连接的模式 — 通过局部感受野将 spatial 和 channel-wise 的信息融合起来。通过交错地使用一系列的卷积层,非线性函数以及下采样算子,CNN 可以输出图像的特征,这些特征能很好地捕捉到各层级的模式,进而获得全局理论上的感受野。计算机视觉的...原创 2019-05-30 16:25:59 · 371 阅读 · 0 评论