Ternary weight networks 论文笔记

背景

BinaryConnect  bwn/XNOR   Deep pression SqueezeNet

优点

提出了一个Ternary weight networks（TWNs），它将网络的权值限制为{−1，0，1}
优点：

• 表达能力：3*3卷积核各有几种？
  二值的，2⁹
  ternary的，3⁹
• 模型压缩 float ->2bit
• 计算要求 比1bit效果好跟全精度差不多，而且0值不增加任何的乘法运算

效果

硬件上好用吗？不能用XNOR 和bitcount了

方法

三值网络相比于二值网络，阈值需要求解，在求解阈值时，假设W是服从均匀分布的；另外，三值网络比二值网络多了0值，相当于自动做了剪枝，或者说二值网络稀疏化。

|IΔ|为IΔ中权重大于Δ的个数
cΔ=∑i∈IcΔ是一个与α无关的常量。

ref
https://www.cnblogs.com/areaChun/p/8407460.html