Abstract
本文在二值化权重(BWN)方面做出了创新,发表在AAAI2018上,作者是自动化所程建团队。本文的主要贡献是提出了一个新的训练BWN的方法,揭示了哈希与BW(Binary Weights)之间的关联,表明训练BWN的方法在本质上可以当做一个哈希问题。基于这个方法,本文还提出了一种交替更新的方法来有效的学习hash codes而不是直接学习Weights。在小数据和大数据集上表现的比之前的方法要好。
主要贡献
- 本文揭示了保持内积哈希与BWN之间的紧密关联。
- 为了减轻用哈希方法所带来的loss,本文将binary codes乘以了一个scaling factor并用交替优化的策略来更新binary codes以及factor。
- 在Cifar10,Cifar100以及ImageNet上实验,本文提出的BWNH方法比之前方法要好。
Inner-product preserving hashing
保留内积哈希方法是沈老师团队在15年ICCV上提出的,方法是给定两个点集 X ∈ R S × M X\in \mathbb R^{S\times M} X∈RS×M和 W ∈ R S × N W\in \mathbb R^{S\times N} W∈RS×N, X i ∈ R S × 1 X_i\in \mathbb R^{S\times 1} Xi∈RS×1以及 W i ∈ R S × 1 W_i\in \mathbb R^{S\times 1} Wi∈RS×1分别代表向量 X X X和 W W W的第 i i i个点,记作向量 X X X和 W W W的内积相似性(inner-product similarity)为 S ∈ R M × N S\in \mathbb R^{M\times N} S∈RM×N。则目标函数变为:
m i n ∥ S − h ( X ) T g ( W ) ∥ F 2 ( 1 ) min\quad \Vert S-h(X)^Tg(W)\Vert^2_F \quad (1) min∥S−h(X)Tg(W)∥F2(1)
h ( ⋅ ) h(\cdot) h(⋅)与 g ( ⋅ ) g(\cdot) g(⋅)表示的是向量 X X X和 W W W的哈希函数。
哈希与BWN之间的关联
假设有一个L层pre-trained CNN model, X ∈ R S × M X\in \mathbb R^{S\times M} X∈RS×M是第 L L L层的input feature map.记作第 L L L层的权重的真实值为 W ∈ R S × N W\in \mathbb R^{S\times N} W∈RS×N,目标是得到二进制的weighs B ∈ { − 1 , + 1 } S × N B\in \{-1,+1\}^{S\times N} B∈{
−1,+1}S×N,天真的想法可能就是直接优化二者的差:
m i n L ( B ) = ∥ W − B ∥ F 2 s . t .    B ∈ { + 1 , − 1 } S × N ( 2 ) min \quad L(B)=\Vert W-B\Vert^2_F \quad s.t.\;B\in\{+1,-1\}^{S\times N} \quad (2) minL(B)=∥W−B∥F2