网络量化
地大大刘
这个作者很懒,什么都没留下…
展开
-
【Compressing Deep Convolutional Networks using Vector Quantization 】论文笔记
论文链接:https://arxiv.org/abs/1412.6115这篇论文对通过对权重矩阵进行量化编码来实现网络压缩,不涉及到网络加速,所以重点针对全连接层进行操作,因为全连接层的参数占网络参数的90%以上。文章主要对不同的矢量量化方法进行了评估。原创 2018-06-29 20:14:23 · 1514 阅读 · 0 评论 -
【Quantized Convolutional Neural Networks for Mobile Devices】论文笔记
[CVPR '16]论文链接:https://arxiv.org/abs/1512.06473代码链接:https://github.com/jiaxiang-wu/quantized-cnn文章中使用的是PQ量化方法,同时提出了量化误差的校正方案。原创 2018-07-03 20:41:49 · 1630 阅读 · 0 评论 -
【Fixed-Point Performance Analysis of Recurrent Neural Networks】论文笔记
[ICASSP’16]论文链接:https://arxiv.org/abs/1512.01322 递归神经网络在许多应用中表现出优异的性能; 然而,它们需要增加基于硬件或软件的实现的复杂性。通过最小化权重和信号的字长可以大大降低硬件复杂性。这项工作使用基于重新训练的量化方法分析递归神经网络的定点性能。研究了RNN中各层的量化灵敏度,并给出了整体定点优化结果,使得权重容量最小化,同时不牺牲性能。使...原创 2018-07-03 21:44:35 · 206 阅读 · 0 评论 -
乘积量化(Product Quantization/PQ)笔记
论文链接:https://hal.inria.fr/file/index/docid/825085/filename/jegou_pq_postprint.pdfProduct quantization(PQ),国内直译为乘积量化,这里的乘积是指笛卡尔积,意思是指把原来的向量空间分解为若干个低维向量空间的笛卡尔积,并利用Kmeans算法对分解得到的低维向量空间分别做量化。这样每个向量就能由多个...原创 2018-07-04 15:46:28 · 3660 阅读 · 1 评论