论文阅读：Piggyback: Adapting a Single Network to Multiple Tasks by Learning to Mask Weights

ECCV2018 , 在网络上训练一个mask，以适应新任务。

1.Introduction

Packnet通过迭代地剪枝再训练扩展网络学习新任务，然而真的有必要调整网络的全部参数吗？

基于这个idea，我们提出一个方法，在固定的backbone上学习一个实数mask，推断时转为二值。

好的初始化很重要----imgeNet上pretrained的就不错。

2.Related Work

LwF和EWC，这些方法的问题是不可能预计旧任务上的性能改变，因为网络的所有权重都是可变的。PackNet通过剪枝，确定对之前任务重要的权重，每个权重存一个额外信息。然而前者在domain变化大的时候性能损失大，后者随着可用参数变少而失效。

相似：PathNet，Residual Adapters，Deep Adaption Networks。对于CNN，我们学习新卷积，是已存在卷积的masked版。我们的方法只引入1 bit参数。我们发现学习task-specific layer和BN参数是没必要的。

一些其它的关于二值网络的研究...

3.Approach

为便于理解，先假设一个全连接线性模型