结论:
1:观察第一个和第六个(最后一个)卷积层的输出,有如下特点:首先,值的范围比较小,基本处于(-2,2)之间;其次,值是离散的。那么值得种类也就只有最多10种(2bit量化)。对于均值估计来说,难度就小了一些, 因为值得范围小,所以即便估的精确度低,与实际得偏差也不会大。
2:用卷积核对角线采样对均值近似是最好的,其次是中位数和众数(但是中位数和众数算法复杂度高,也不应该考虑),最后是按行采样和按卷积核右下角采样。所有得方法误差都在0.05之内。
采样方法说明:
三种采样方法图解。1代表采样点,0代表非采样点
第一张是按行采样,可以调整为隔一行采一行,隔两行采一行等。图中是隔一行采一行。
第二张是卷积核对角线采样,卷积核大小为K,每次采卷积核对角线的数,滑动步长为K。图示K为2
第三者是卷积核右下角采样,卷积核大小为k,每次采卷积核右下角的数,滑动步长为K。图示K为2
还有另外两种方法分别为中位数和众数。
均值刻画:
横轴是不同的channel,纵轴是均值绝对大小。数据来源是网络中某一层
当隔一行采一行,卷积核为2时,可以发现各种方法重合度非常好。