2018年10月_时光机ﾟ

原创【论文阅读笔记】PACT：PArameterized Clipping Activation for Quantized Neural Networks

全文概括本文目的是将 activation 和 weight 一起量化，其结果能量化 activation 和 weight 到 4-bit 大小，且准确度能和 full precision 媲美(在一系列流行的模型和数据集上)。该方法是提出一个新的激活函数，即PACT(PArameterized Clipping Activation)，其作用在训练阶段。提出该激活函数的背景是...

2018-10-09 14:07:51 5583

原创【论文阅读笔记】Training Quantized Nets：A Deeper Understanding

全文概括本文目的在于了解各种训练量化网络的方法的行为差异，成功或失败的原因。本文证明了BC (用二进制权值进行 forward backward 更新权重由 full-precision )长期训练的行为具有非凸优化所需的重要退火特性，而经典的舍入算法缺乏这种特性。本文证明了，对于非凸优化问题，SR(Stochastic Rounding)不会随着 lr 的衰减而稳定，即不会...

2018-10-08 21:20:50 683 2

原创【论文阅读笔记】Network Sketching: Exploiting Binary Structure in Deep CNNs

全文概括草图，就像在画画一样，是不断精确的基础，在二进制量化的应用上，即不断地逼近残差，如 HORQ (High-Order Residual Quantization) 一样。与 HORO 的区别在于，该方向并未二值化 Input，但其提出了一个新的尺度因子的计算方式。在 2-bit/ 1-bit 的极低精度的近似 ResNet-18 的结果展示上，其与 INQ 的精确度差不多，但...

2018-10-08 15:50:30 727

原创【论文阅读笔记】Deep Neural Network Compression with Single and Multiple Level Quantization

全文概括本文是《Quantized Convolution Neural Networks for Mobile Devices》和《Incremental Network Quantization：Towards Lossless CNN with Low-Precision Weights》的思想结合。参考了前者的分层量化和k-means聚类共享权值，参考了后者的INQ思想，即同一层分块...

2018-10-03 17:30:37 989

原创【论文阅读笔记】Incremental Network Quantizatio：Towards Lossless CNNs with Low-Precision Weights

全文概括先前的量化方法（同时量化所有的weight）都太粗暴了，这导致了量化损失严重，作者提出一种分组量化-分组re-train的方法来拟补量化带来的损失。 INQ方法步骤：将为量化的参数分成待量化/待re-train组(用超参数定义每次量化的百分比，百分比会自动在参数中找到一个临界点，绝对值大于这个临界点的分为待量化组，因为作者认为大值比小值重要，让小的re-train。这个观...

2018-10-03 16:24:04 781 3

原创 LCDet：Low-Complexity Fully-Convolutional Neural Networks for Object Detectionin Embedded Systems

全文概括本文的基本网络框架是YOLO，但用两层 conv 代替两层 fc 。然后用 8-bit 量化了训练好的网络权重。Introduction 8-bit 量化回归任务，会比量化分类任务更容易造成精度下降。经过试验显示，本文方法（量化后）的最高检测率比量化前的只低不到 1&nbsp;2%1~2\%1&nbsp;2%，但在帧率上达到了 202020x 倍的提升。 YO...

2018-10-03 01:10:38 225

原创【论文阅读笔记】Performance Guaranteed Network Accelerationvia High-Order Residual Quantization

方法概括该方法在总结前人的基础上（BNN,Binarized Neural Network；Xnor-Net），提出了一个High-Order（高阶）的二元逼近方法。高阶的定义在于，原始的逼近会存在量化残差(Residual Quantization)，而用另一个矩阵去逼近“遗失”的参数，这是一个迭代的过程，也就是越来越高阶的过程。最后得到的逼近矩阵，是原始逼近 + 迭代“遗失”逼近。 ...

2018-10-02 23:08:08 444 2

原创 c++基础之uint8_t

C++的基础数据类型：名称字节长度取值范围bool1false,truechar1-128~127signed char1-128~127unsigned char10~255short(signed short)2-215 ~ 215 - 1unsigned short20~216-1int (signed in...

2018-10-02 17:08:22 92944 6

时光机 °的博客