模型压缩
文章平均质量分 90
轻量化网络模型的模型压缩
云雨、
这个作者很懒,什么都没留下…
展开
-
(论文精读)VGG神经网络
在本工作中,我们研究了卷积网络深度对其在大规模图像识别设置的准确性的影响。我们的主要贡献是对使用非常小的(3×3)卷积滤波器的体系结构的深度增加网络进行了彻底的评估,这表明,通过将深度提升到16-19个权重层,可以实现对现有技术配置的显著改进。这些发现是我们ImageNet Challenge 2014提交的基础,我们的团队在本地化和分类方面分别获得了第一名和第二名。我们还表明,我们的表示可以很好地推广到其他数据集,在这些数据集上,它们获得了最先进的结果。原创 2023-04-16 20:18:36 · 197 阅读 · 0 评论 -
(论文翻译)THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE, TRAINABLE NEURAL NETWORKS《彩票假说:寻找稀疏、可训练的神经网络》
神经网络修剪技术可以将训练网络的参数计数减少90%以上,降低存储需求并提高推理的计算性能,而不影响准确性。然而,当代的经验是,通过修剪产生的稀疏架构从一开始就难以训练,这将类似地提高训练性能。我们发现,一个标准的修剪技术自然地发现子网络,其初始化使他们能够有效地训练。基于这些结果,我们阐明了彩票假说:密集的、随机初始化的、前馈网络包含子网络(中奖票),这些子网络在孤立地训练时,在类似数量的迭代中达到与原始网络相当的测试精度。我们发现的中奖彩票赢得了初始化彩票:它们的连接具有使训练特别有效的初始权重。原创 2023-07-23 17:05:08 · 529 阅读 · 0 评论 -
(论文翻译)PRUNING FILTER IN FILTER《滤波器中的剪枝滤波器》
深度神经网络(DNN)在许多领域取得了显着进展,包括语音识别[1],计算机视觉[2,3],自然语言处理[4]等。然而,由于DNN中的大量参数,模型部署有时是昂贵的。为了缓解这样的问题,已经提出了许多方法来压缩DNN并减少计算量。这些方法可分为两大类:权重修剪(WP)和滤波器(信道)修剪(FP)。WP是细粒度修剪方法,其修剪各个权重,例如,其值接近0,在网络[5,6]内,导致稀疏网络而不牺牲预测性能。原创 2023-07-11 12:27:13 · 445 阅读 · 0 评论 -
(论文精读)PRUNING FILTERS FOR EFFICIENT CONVNETS
cnn在各种应用中的成功伴随着计算和参数存储成本的显著增加。最近为减少这些开销所做的努力包括在不损害原始准确性的情况下修剪和压缩各个层的权重。然而,基于幅度的权值剪枝会从全连通层中减少大量的参数,由于剪枝网络的不规则稀疏性,可能不能充分降低卷积层的计算成本。我们提出了一种针对cnn的加速方法,在这种方法中,我们从被识别为对输出精度有小影响的cnn中删除滤波器。通过去除网络中的整个滤波器及其连接特征映射,大大降低了计算量。与剪枝权值相比,这种方法不会产生稀疏连接模式。原创 2023-07-02 10:03:48 · 748 阅读 · 0 评论 -
(论文精读)An Entropy-based Pruning Method for CNN Compression
本文的目标是通过滤波剪枝策略同时加速和压缩现成的cnn模型。首先利用所提出的基于熵的方法对各滤波器的重要性进行评估。然后丢弃几个不重要的过滤器以得到一个更小的CNN模型。最后,采用微调的方法恢复滤波器在剪枝过程中被破坏的泛化能力。我们的方法可以减少中间激活的大小,这将在模型训练阶段占据大部分内存占用,但在以前的压缩方法中较少关注。在ILSVRC-12基准上的实验验证了该方法的有效性。与以往的滤波器重要性评价准则相比,基于熵的方法获得了更好的性能。原创 2023-05-21 18:06:52 · 101 阅读 · 0 评论 -
(精读论文)MobileNet v1
MobileNet v1的一些总结原创 2023-03-17 17:18:28 · 52 阅读 · 0 评论 -
(精读论文)剪枝Learning both Weights and Connections for Efficient Neural Networks
神经网络是计算密集型和内存密集型的,这使得它们很难部署在嵌入式系统上。此外,传统的网络在培训开始前就已经确定了架构;因此,培训不能改善体系结构。为了解决这些限制,我们描述了一种方法,通过只学习重要的连接,在不影响神经网络准确性的情况下,将神经网络所需的存储和计算量减少一个数量级。我们的方法使用三步法去除冗余连接。首先,我们训练这个网络,让它知道哪些连接是重要的。接下来,我们删除不重要的连接。最后,我们重新训练网络来微调剩余连接的权值。原创 2023-04-02 17:11:15 · 78 阅读 · 0 评论 -
(精读论文)剪枝:HRank:Filter Pruning using High-Rank Feature Map
神经网络剪枝技术为深度神经网络在资源有限的设备上的应用提供了广阔的前景。然而,由于缺乏非显著性网络构件的理论指导,现有的修剪设计方法仍面临训练效率低和人工成本低等问题。在本文中,我们提出了一种新的滤波器剪枝方法,通过探索特征映射的高秩(HRank)。我们的HRank是受到一个发现的启发,即由一个过滤器生成的多个特征图的平均等级总是相同的,而不管cnn接收的图像批数是多少。基于HRank,我们开发了一种方法,该方法是数学公式的修剪滤波器与低秩特征映射。原创 2023-04-09 13:29:18 · 125 阅读 · 0 评论 -
(论文精读)YOLO-V2 & YOLO9000 ……(YOLO9000: Better, Faster, Stronger)
作者在摘要里说明了本篇论文分为两部分,第一部分就是对yolov1的改进,最终效果是,可以很快但精度略低,可以很精准但速度略慢。第二部分是对如何检测9000个物体的说明,用了一个联合训练的方法,使得yolov2可以检测出来原本没有标签的物体。训练是在coco目标检测数据集和imagenet分类数据集,验证在imagenet目标检测数据集,这里有不同的三个数据集。我们介绍了YOLO9000,一个最先进的,实时的目标检测系统,可以检测超过9000个目标类别。原创 2023-05-05 22:06:19 · 133 阅读 · 0 评论 -
(精读论文)网络大瘦身
深度卷积神经网络(CNN)在许多现实中的部署 世界应用在很大程度上受到其高计算成本的阻碍。在 本文提出了一种新颖的CNN学习方案,以同时1) 减小模型尺寸;2) 减少运行时内存占用;3)较低 计算操作的数量,而不会影响准确性。这是 通过在网络中以简单但 有效的方法。与许多现有方法不同,所提出的方法 直接应用于现代 CNN 架构,引入最小开销 培训过程,不需要特殊的软件/硬件加速器 对于生成的模型。原创 2023-03-26 13:02:20 · 33 阅读 · 0 评论 -
(论文精读)PRUNING FILTER IN FILTER《滤波器中的剪枝滤波器》
剪枝已成为现代神经网络压缩和加速的一种非常有效的技术。现有的剪枝方法可分为两大类:滤波器剪枝(FP)和权重剪枝(WP)。与WP相比,FP在硬件兼容性方面胜出,但在压缩比方面失败。为了收敛两种方法的强度,我们提出在滤波器中对滤波器进行剪枝。具体来说,我们将滤波器F∈RC×K×K视为K个×K条,即1 × 1个滤波器∈RC,然后通过修剪条纹而不是整个滤波器,我们可以在硬件友好的同时实现比传统FP更细的粒度。我们称我们的方法为SWP (Stripe-Wise Pruning)。原创 2023-07-11 17:17:33 · 752 阅读 · 0 评论 -
DiSparse: Disentangled Sparsification for Multitask Model Compression论文简读
具体来说,DiSparse首先独立评估每个任务在共享参数空间中各个参数的重要性得分,然后仅剔除那些对所有任务都不重要的参数,这样就避免了因剪枝而导致某些任务性能急剧下降的问题,从而实现了一个更加平衡的网络结构。然而,当涉及到多任务网络的压缩时,由于不同任务之间特征的高度纠缠,传统的剪枝和稀疏训练方法往往效果不佳。总之,DiSparse是一种简单且有效的多任务网络剪枝方法,它通过解纠缠任务间参数的重要性度量,成功实现了多任务模型的有效压缩,同时也为多任务学习社区提供了一种强大的工具。原创 2024-01-08 10:48:54 · 398 阅读 · 0 评论 -
(论文翻译)PRUNING FILTERS FOR EFFICIENT CONVNETS
cnn在各种应用中的成功伴随着计算和参数存储成本的显著增加。最近为减少这些开销所做的努力包括在不损害原始准确性的情况下修剪和压缩各个层的权重。然而,基于幅度的权值剪枝会从全连通层中减少大量的参数,由于剪枝网络的不规则稀疏性,可能不能充分降低卷积层的计算成本。我们提出了一种针对cnn的加速方法,在这种方法中,我们从被识别为对输出精度有小影响的cnn中删除滤波器。通过去除网络中的整个滤波器及其连接特征映射,大大降低了计算量。与剪枝权值相比,这种方法不会产生稀疏连接模式。原创 2023-07-01 18:28:21 · 166 阅读 · 0 评论 -
(剪枝)剪枝的理论
在介绍剪枝之前,首先来过参数化这个概念,过参数化主要是指在训练阶段,在数学上需要进行大量的微分求解,去捕捉数据中微小的变化信息,一旦完成迭代式的训练之后,网络模型在推理的时候就不需要这么多参数。而剪枝算法正是基于过参数化的理论基础提出来的。剪枝算法的核心思想就是减少网络模型中参数量和计算量,同时尽量保证模型的性能不受影响。原创 2023-03-25 17:33:25 · 949 阅读 · 0 评论