移位量化（对数量化）

原文链接：https://www.yuque.com/yahei/hey-yahei/shift_quantization

移位量化也可以称为对数量化，将数值从浮点数的形式量化为一个整数或定点数，但它与线性量化不同，两个相邻数之间是在以2为底的对数域上均匀分布的，这使得实际推理当中可以直接通过移位运算来快速实现，同时也拥有随比特数增长而指数增长的大动态范围。
移位量化既可以只量化权重（对激活值移位），也可以只量化激活（对权重值移位），当然也可以同时量化权重和激活（对值1移位）。由于涉及底层的位移运算，可以设计出各种比较花哨的近似位移或并行位移的技巧，这些方案大多更适用于FPGA。
此外，ShiftCNN也采用了一种不完全的移位相加形式来替代乘法，也算是相对折中的一种处理方案。

LogNN

论文：《Convolutional Neural Networks using Logarithmic Data Representation (2016)》

仅量化激活

如图(b)，量化激活值为整数
$${\tilde{x}}_i=Quantize\left({\log }_2\left(x_i\right)\right)$$
此时与权重之间的乘法计算就可以简化为移位
$$\begin{array}{rl}{w}^{T}x& \approx \sum _{i=1}^n{w}_i\times 2^{{\tilde{x}}_i}\\ & =\sum _{i=1}^n\mathrm{Bitshift}\left(w_i,{\tilde{x}}_i\right)\end{array}$$


也可以量化为定点数，此时加上一个常量偏移$$FSR$$，即$${\tilde{x}}_{i,FSR}={\tilde{x}}_i+FSR$$
此时激活值需要存储一系列的$${\tilde{x}}_{i,FSR}$$和一个共享的$$FSR$$；

当然，实际量化还要考虑溢出问题，
$$\{\begin{array}{ll}{\tilde{x}}_i& =Clip\left(Quantize\left({\log }_2\left(x_i\right)\right),-FSR,-FSR+2^{bitwidth}\right)\\ {\tilde{x}}_{i,FSR}& ={\tilde{x}}_i+FSR\end{array}$$


再来看看$$Quantize(\cdot )$$，

1. 最直观：直接向上、向下或四舍五入来取整
2. 最快（等价向下取整）：如图(b)，直接取二进制串中最左侧1的位置，比如$$x=15=0b001111$$量化为$$\tilde{x}=3$$

量化权重和激活

权重的量化方式与激活相同，此时乘法计算进一步简化为
$$\begin{array}{rl}{s}_n=w^{T}x& \approx \sum _{i=1}^n{2}^{Quantize\left({\log }_2\left(w_i\right)\right)+Quantize\left({\log }_2\left(x_i\right)\right)}\\ & =\sum _{i=1}^n\mathrm{Bitshift}\left(1,{\tilde{w}}_i+{\tilde{x}}_i\right)\end{array}$$
写作递推式为
$$s_n=$$