paper reading
文章平均质量分 83
Ruff_XY
这个作者很懒,什么都没留下…
展开
-
Pareto-Optimal Quantized ResNet Is Mostly 4-bit
论文背景文章地址代码地址amirali.abdolrashidi @email.ucr.edu,{fwanglisa, shivaniagrawal, malmaud, rybakov, cleichner, lewg} @google.com谷歌和UCR联合发表的期刊/会议: CVPR 2020AbstractIn this work, we use ResNet as acase study to systematically investigate the effect原创 2021-07-13 16:04:18 · 351 阅读 · 0 评论 -
Neural Network Compression Framework for fast model inference
论文背景文章地址代码地址Alexander Kozlov Ivan Lazarevich Vasily Shamporov Nikolay Lyalyushkin Yury Gorbachevintel名字看起来都是俄罗斯人期刊/会议: CVPR 2020Abstract基于pytorch框架, 可以提供quantization, sparsity, filter pruning and binarization等压缩技术. 可独立使用, 也可以与现有的training co原创 2021-07-08 15:45:58 · 278 阅读 · 0 评论 -
GROWING EFFICIENT DEEP NETWORKS BY STRUCTURED CONTINUOUS SPARSIFICATION
论文地址[代码地址]论文背景作者以及其机构Xin Yuan University of ChicagoPedro Savarese TTI-ChicagoMichael Maire University of Chicago期刊/会议:ICLR 2021贡献与现有的在全尺寸(或者超级网络结构)上实施的剪枝或NAS技术不同, 作者的方法可以从一个小的、简单的种子开始, 动态增长, 并且对layer和filter都进行剪枝.该方原创 2021-07-01 18:47:10 · 412 阅读 · 1 评论 -
CPT: Efficient Deep Neural Network Training via Cyclic Precision
论文地址代码地址论文背景Yonggan Fu, Han Guo, Xin Yang, Yining Ding & Yingyan Lin电子与计算机工程系, 莱斯大学Meng Li & Vikas Chandra, Facebook看起来都是中国人, 不过都是国外的大学和公司期刊/会议: 发表在ICLR 2021贡献提出了循环精度训练(CPT),以循环改变两个边界值之间的精度,这两个边界可以在前几轮训练时, 使用简单的精度范围测试来识别.和学习率类似,原创 2021-06-11 17:16:01 · 378 阅读 · 1 评论 -
DEGREE-QUANT: QUANTIZATION-AWARE TRAINING FOR GRAPH NEURAL NETWORKS
作者背景Shyam A. Tailor 计算机科学与技术系, 剑桥大学Javier Fernandez-Marques 计算机科学系, 牛津大学Nicholas D. Lane, 计算机科学与技术系 , 剑桥大学&三星AI中心文章地址代码地址发表在ICLR 2021文章内容似乎跟我平时接触的模型不太一样, GNN不太熟, 文章主要针对GCN, GAT and GIN这几类的模型.看不懂, 算了, 下一篇...原创 2021-06-10 18:24:51 · 281 阅读 · 2 评论 -
Towards Accurate Post-training Network Quantization via Bit-Split and Stitching
自动化所的一篇文章, 文章地址, 代码地址文章主要有两个创新点将量化后的weigths进行split, 然后优化每一位bit, 使得目标函数最小, 得到每一位的bit后再将所有位的bit进行stitching在保证计算效率的前提下, 可以对Activation使用per-channel的量化, 论文中叫Error Compensated Activation Quantization(ECAQ)下面针对这两条分别说明,Bit-Split and Stitching常规的二进制, 第一位是原创 2021-06-09 18:07:54 · 614 阅读 · 0 评论