均值估计

通过对卷积层输出的观察,发现值范围主要在(-2,2)之间且离散,适合进行均值估计。文章对比了按行采样、卷积核对角线采样、卷积核右下角采样、中位数和众数等方法,得出对角线采样效果最佳,误差通常在0.05之内。研究还探讨了不同采样间隔和卷积核大小的影响,以及使用单个图片均值代替整个batch均值的不准确性。通过计算多个batch的误差均值,证实了在分布一致的batch中,样本均值估计的准确性。" 90984089,7921858,layui表格隐藏列技巧,"['layui', '前端开发', 'CSS']
摘要由CSDN通过智能技术生成

结论:
1:观察第一个和第六个(最后一个)卷积层的输出,有如下特点:首先,值的范围比较小,基本处于(-2,2)之间;其次,值是离散的。那么值得种类也就只有最多10种(2bit量化)。对于均值估计来说,难度就小了一些, 因为值得范围小,所以即便估的精确度低,与实际得偏差也不会大。
2:用卷积核对角线采样对均值近似是最好的,其次是中位数和众数(但是中位数和众数算法复杂度高,也不应该考虑),最后是按行采样和按卷积核右下角采样。所有得方法误差都在0.05之内。

采样方法说明:

三种采样方法图解。1代表采样点,0代表非采样点
第一张是按行采样,可以调整为隔一行采一行,隔两行采一行等。图中是隔一行采一行。
第二张是卷积核对角线采样,卷积核大小为K,每次采卷积核对角线的数,滑动步长为K。图示K为2
第三者是卷积核右下角采样,卷积核大小为k,每次采卷积核右下角的数,滑动步长为K。图示K为2
在这里插入图片描述
还有另外两种方法分别为中位数和众数。

均值刻画:
横轴是不同的channel,纵轴是均值绝对大小。数据来源是网络中某一层
当隔一行采一行,卷积核为2时,可以发现各种方法重合度非常好。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值