【论文阅读笔记】Network Sketching: Exploiting Binary Structure in Deep CNNs

最新推荐文章于 2024-05-17 11:57:15 发布

时光机ﾟ

最新推荐文章于 2024-05-17 11:57:15 发布

阅读量755

点赞数

分类专栏： # 模型量化论文读书笔记

本文链接：https://blog.csdn.net/qq_19784349/article/details/82969019

版权

论文读书笔记同时被 2 个专栏收录

80 篇文章 7 订阅

订阅专栏

模型量化

18 篇文章 6 订阅

订阅专栏

全文概括

草图，就像在画画一样，是不断精确的基础，在二进制量化的应用上，即不断地逼近残差，如 HORQ (High-Order Residual Quantization) 一样。与 HORO 的区别在于，该方向并未二值化 Input，但其提出了一个新的尺度因子的计算方式。

在 2-bit/ 1-bit 的极低精度的近似 ResNet-18 的结果展示上，其与 INQ 的精确度差不多，但多了几层的二值化卷积，即时间效率下降。【本文提供了一种 Associative Implementation 的方式来解决而这个问题】

提供了一种二值权重共享卷积计算的方式，即Associative Implementation，其计算方式直观上就是：在同一层卷积(即输入 $X$ 是同一个，而卷积核不同)，保留上一次的卷积结果，对于卷积核一样的部分不进行计算，只计算卷积核不同的部分。

Network Sketching

在这里插入图片描述
对每一个 $\in \mathcal{R}^{c*w*h}$ 都有 $m$ 个 $\in \mathcal{R}^{c*w*h}$ 的二进制 Tensor ，和 $m$ 个对应的尺度因子。

对于文中的两种 Sketching 方法，不同的地方只在于尺度因子的计算。

Direct Approximation

$B_j = sgn(\hat{W_j})$ $a_j=\frac{<B_j,\hat{W_j}>}t$ 其中， $\hat{W_j}$ 是前面量化的残差，初始化 $\hat{W_0} = W$ ； $t = c * w * h$ ，是该层该 filter 参数的个数。

该方法和 HORQ 一模一样

Approximation with Refinement

由于上面的方法，在逼近残差时，其收敛程度低，收敛速度慢（逼近原始权重 Tensor 的程度），因此提出了新的尺度因子计算方式，使得能更加逼近原始权重： $a_j = （B_j^TB_j）^{-1}B_j^T*vec(W)$ 其中， $v e c (*)$ 是其输入的一个列向量，比如 $B_j = [vec(B_0),...,vec(B_j)]$

其目的是想利用 $W$ 的整体信息，即先前的量化逼近结果 $B_i$ 也利用上。

Speeding-up the Sketch Model

在这里插入图片描述
对于一个输入 Tensor $X$ ，如果有多个 $B$ 与其卷积，则其可能和之前的卷积操作计算有重叠的部分，则我们进行 $B_j$ 卷积时，可以利用 $B_{j-1}$ 的卷积计算结果。

Associative Implementation
假设 $X 和 B_{j_0}$ 的计算结果已经得出： $\otimes B_{j_0}=s$ ，则我们有： $\otimes B_{j_1} = s + (X \otimes (B_{j_0} \vee B_{j_1})) * 2 \tag{1}$ $\otimes B_{j_1} = s - (X \otimes ( \neg B_{j_0} \vee B_{j_1})) * 2 \tag{2}$

$B_{J_1}$	$B_{j_2}$	$B_{J_1} \vee B_{j_2}$
+1	-1	-1
+1	+1	0
-1	-1	0
-1	+1	+1

关联计算的规则如上，直观上来看，就是和上一个卷积核一样的部分，就利用上一次的结算结果，和上一次不一样的部分，才需要计算(在这里就是不一样的部分，就用上一次的卷积结果的基础上，加上两倍的不一样地方)。

假设 $B_{j_0} \vee B_{j_1}$ 的内积结果为 $\in [-t, +t]$ 。我们有以下结果：公式 $(1)$ 和公式 $(2)$ 需要的计算量不同，公式 $(1)$ 为 $\frac{t-r}{2}$ ，公式 $(2)$ 为 $\frac{t+r}2$ 。所以有：当 $r > 0$ ，使用公式 $(1)$ ；当 $r < 0$ ，使用公式 $(2)$ 。