模型压缩
自来水大叔
这个作者很懒,什么都没留下…
展开
-
模型压缩那些事(三)
今天继续扯模型压缩的那些事,这篇我主要想扯下knowledge distilling,为方便之后简称KD,知乎关于KD的文章很多了,我就不详细介绍了,KD简单的说是想将复杂模型(teacher)的知识迁移到简单模型(student)中去,这样相当于在保持精度的同时减少了模型的复杂度,然后简单模型可以直接开跑,不需要像之前做量化那样做定点化了。我觉得KD这个思想很好,但是怎么做就是八仙过海,各显神通了。我介绍下我试过的一些方法。1.首先是hinton老爷子的论文,其思想是one-hot label这种原创 2020-12-21 10:50:37 · 131 阅读 · 0 评论 -
模型压缩那些事(二)
今天扯扯如何减少模型所占的空间。我认为压缩这块可以简单分为两部分分别是Pruning和Quantization,Pruning的思想是将卷积层和全连接层中的权重较小的值去掉,然后finetune恢复精度,Quantization是指将32位的浮点数量化成低比特的整数从而达到压缩和加速的目的,下面分别来说这两部分:Pruning这块我主要试了两大类,分别是non-structured sparsity和structured sparsity两种,我在实现的时候都是加入一个mask,其大小和卷积层参数的原创 2020-12-21 10:49:51 · 103 阅读 · 0 评论 -
模型压缩那些事(一)
模型压缩那些事(一)最近搞了一段时间的模型压缩,有些经验想和各位童鞋分享下,想哪说哪,不严谨的地方欢迎大家随时拍砖。目前卷积神经网络已经在计算机视觉领域取得了长足的进步,但是由于目前业内认为越深网络效果越好,所以卷积神经网络参数巨大,并且计算卷积层和全连接层需要大量的浮点矩阵乘法,导致计算开销也非常大,虽然有的网络可以在GPU上实时运行,但是这种庞然大物无法直接应用于手机等嵌入式设备中,所以我们需要对卷积神经网络进行裁剪使神经网络可以在手机跑起来。如果想要在手机上跑深度学习模型有两个关键点,一个是模原创 2020-12-21 10:48:13 · 125 阅读 · 0 评论