![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
量化压缩
文章平均质量分 93
Ruff_XY
这个作者很懒,什么都没留下…
展开
-
Pareto-Optimal Quantized ResNet Is Mostly 4-bit
论文背景 文章地址 代码地址 amirali.abdolrashidi @email.ucr.edu, {fwanglisa, shivaniagrawal, malmaud, rybakov, cleichner, lewg} @google.com 谷歌和UCR联合发表的 期刊/会议: CVPR 2020 Abstract In this work, we use ResNet as a case study to systematically investigate the effect原创 2021-07-13 16:04:18 · 330 阅读 · 0 评论 -
Neural Network Compression Framework for fast model inference
论文背景 文章地址 代码地址 Alexander Kozlov Ivan Lazarevich Vasily Shamporov Nikolay Lyalyushkin Yury Gorbachev intel 名字看起来都是俄罗斯人 期刊/会议: CVPR 2020 Abstract 基于pytorch框架, 可以提供quantization, sparsity, filter pruning and binarization等压缩技术. 可独立使用, 也可以与现有的training co原创 2021-07-08 15:45:58 · 268 阅读 · 0 评论 -
GROWING EFFICIENT DEEP NETWORKS BY STRUCTURED CONTINUOUS SPARSIFICATION
论文地址 [代码地址] 论文背景 作者以及其机构 Xin Yuan University of Chicago Pedro Savarese TTI-Chicago Michael Maire University of Chicago 期刊/会议: ICLR 2021 贡献 与现有的在全尺寸(或者超级网络结构)上实施的剪枝或NAS技术不同, 作者的方法可以从一个小的、简单的种子开始, 动态增长, 并且对layer和filter都进行剪枝. 该方原创 2021-07-01 18:47:10 · 392 阅读 · 1 评论 -
CPT: Efficient Deep Neural Network Training via Cyclic Precision
论文地址 代码地址 论文背景 Yonggan Fu, Han Guo, Xin Yang, Yining Ding & Yingyan Lin 电子与计算机工程系, 莱斯大学 Meng Li & Vikas Chandra, Facebook 看起来都是中国人, 不过都是国外的大学和公司 期刊/会议: 发表在ICLR 2021 贡献 提出了循环精度训练(CPT),以循环改变两个边界值之间的精度,这两个边界可以在前几轮训练时, 使用简单的精度范围测试来识别. 和学习率类似,原创 2021-06-11 17:16:01 · 359 阅读 · 1 评论 -
Towards Accurate Post-training Network Quantization via Bit-Split and Stitching
自动化所的一篇文章, 文章地址, 代码地址 文章主要有两个创新点 将量化后的weigths进行split, 然后优化每一位bit, 使得目标函数最小, 得到每一位的bit后再将所有位的bit进行stitching 在保证计算效率的前提下, 可以对Activation使用per-channel的量化, 论文中叫Error Compensated Activation Quantization(ECAQ) 下面针对这两条分别说明, Bit-Split and Stitching 常规的二进制, 第一位是原创 2021-06-09 18:07:54 · 598 阅读 · 0 评论