network compression 顶会文章简介 2019

最新推荐文章于 2024-05-14 21:01:47 发布

JachinMa

最新推荐文章于 2024-05-14 21:01:47 发布

阅读量956

点赞数

本文链接：https://blog.csdn.net/JachinMa/article/details/100847239

版权

本文介绍了多个关于网络压缩的研究，包括跨域模型压缩、激活图压缩、基于SVD的网络压缩、解释性CNN压缩、级联投影压缩以及平台独立的能量约束深度学习网络压缩。这些方法旨在减少计算复杂性、内存消耗，提高效率，并在保持高准确率的同时满足特定硬件限制。

摘要由CSDN通过智能技术生成

1、Cross Domain Model Compression by Structurally Weight Sharing
在这里插入图片描述
常规的模型压缩方法专注于RGB输入。然而跨领域任务需要更多的DNN模型，且每个领域也需要它自己的模型。因此，对这样的任务来说，存储成本、内存占用空间和计算成本都相较单个RGB输入显著增加。不仅如此，跨域任务独特的表现和特殊的结构使得我们很难直接在它上面应用常规的压缩方法。本文因此提出一种新的鲁棒的跨领域模型压缩方法。具体来说，它通过结构权重共享来压缩跨领域模型，这通过在训练时使用图像嵌入规范模型来实现。由于每一通道的权重都共享，该方法可以在无需任何特殊设计的算法的情况下减少计算成本。

2、Accelerating Convolutional Neural Networks via Activation Map Compression
在这里插入图片描述
深度学习革命给我们带来了很多能在大量计算机视觉任务，如分类、检测和分割中取得优秀表现的神经网络结构。同时，对计算能力和内存的要求也变得前所未有的高，使得神经网络几乎无法在低功率设备中被有效地使用。为此，本文提出了一个三阶段压缩方法以及加速管道来对CNN的激活层进行稀疏、量化和熵编码操作。稀疏化增加了激活层的边打能力，从而加快了推理的速度以及模型的准确率。