干货！一种被称为Deformable Butterfly（DeBut）的高度结构化且稀疏的线性变换

AITIME论道

于 2022-08-02 18:00:49 发布

阅读量403

点赞数 1

文章标签：卷积神经网络人工智能机器学习深度学习

本文链接：https://blog.csdn.net/AITIME_HY/article/details/126132758

版权

研究提出Deformable Butterfly (DeBut)，作为全连接层和卷积层的替代，用于神经网络压缩。DeBut继承Butterfly矩阵的层次结构并允许适应不同尺寸，其稀疏性和结构化特性有助于在保持性能的同时减少模型复杂度。在LeNet、VGG和ResNet-50上的实验表明，DeBut在压缩和准确性之间取得良好平衡。

摘要由CSDN通过智能技术生成

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

深度神经网络在各个领域都取得了很好的效果，例如图像识别，图像切割，自动驾驶，还有坏品检测等。但是深度神经网络由于其对计算和储存资源的较高要求，使得它很难部署在在资源有限的边缘设备上。

为了解决这一问题，许多方法被用来对模型进行压缩，常见的类型有：剪枝，量化，和低秩分解。

在这项工作中，我们用不同于上述任何类别的一种新的线性变换来对模型进行了压缩，名为Deformable Butterfly (DeBut)。它是基于传统的Butterfly矩阵的一种泛化，可以适应各种输入输出维度，且继承了传统Butterfly矩阵从细粒度到粗粒度的可学习层次结构。当部署神经网络时，DeBut层的特殊结构和稀疏性构成了网络压缩的新方式。

我们将DeBut作为全连接层和卷积层的替代品来应用，并证明了它在同质化神经网络方面的优势，使其具有轻量和低复杂度等有利特性，而不致对准确率造成大幅影响。DeBut层的各种不同设计方式可以做到在复杂度和准确性之间进行基于不同考量的权衡，这为分析和实践研究开辟了新的空间。

本期AI TIME PhD直播间，我们邀请到香港大学电子电气工程学院博士生——林睿，为我们带来报告分享《一种被称为Deformable Butterfly（DeBut）的高度结构化且稀疏的线性变换》。