【读论文0702】Learning to Segment the Tail

论文地址
code
发表年份：CVPR2020

---

论文内容

Intuition

解决问题：分割。
对于长尾数据，类别样本分布不平衡。那很直接的想法就是把不同类的样本分成均衡的就行了，不过这样一分，样本就会很少，就变成了fewshot learning。然后看看这个论文怎么解决的。
这个想法是很容易想到的呀，就是具体操作不太好设计。前几天看的那个Balanced Group Softmax还有个multi-experts[ECCV2020]也是这个思路。

从Intro看，也有点儿像meta-learning。

具体方法

Class-Incremental Instance Segmentation
把数据分成了$T$组相对平衡的子集 { C i } i = 0 , 1 , . . . , T \{\mathcal{C}_i\}_{i=0,1,...,T} {Ci​}i=0,1,...,T​。训练到$t$步的时候，用${\mathcal{C}}_{i=0,1,...,t}$个子集。
训练过程：
前$t-1$步网络参数是${\theta }_{t-1}$，这部分参数要冻起来。然后加入${\mathcal{C}}_t$，分类器是要随着$t$增加逐渐扩张，以便分类新来的数据。同时用知识蒸馏传递就参数：
$$L_{kd}=|y_{t-1}-y_t^{\prime }|$$

$y_{t-1}$是用参数${\theta }_{t-1}$的模型预测的分数，$y_t^{\prime }$是当前模型，即当前参数为${\theta }_t$的模型。$L_{kd}$用的L2范数。

Instance-level Data Balanced Replay
随着新的${\mathcal{C}}_t$加入，后面来的自己包含的训练样本越来越少，这个论文用了下采样方法来平衡，起了个名字叫replay。下采样参数是用${\mathcal{C}}_t$的平均样本个数${\overline{n}}_c$和 { C i } i = 0 , 1 , . . . , t − 1 \{\mathcal{C}_i\}_{i=0,1,...,t-1} {Ci​}i=0,1,...,t−1​的平均个数${\overline{n}}_k$计算的。采$\lceil {\overline{n}}_c/{\overline{n}}_k\rceil$个。这里可能少乘了个当前类别的个数$n_k$吧，反正大概就是这个意思，样本越来越少了，之前的$t-1$里的样本个数很多，和当前$t$类的子集中的样本个数平衡一下，少采一些。

对新加进来的数据的分类器参数，用Meta Weight Generator的方式学的。即分类器参数${\mathcal{W}}_t$分成了两部分$[{\mathcal{W}}_t^{\mathcal{O}},{\mathcal{W}}_t^{\mathcal{N}}]$。${\mathcal{W}}_t^{\mathcal{O}}$直接用之前$t-1$步学的就可以了，${\mathcal{W}}_t^{\mathcal{N}}$是通过检索base classifier weights组合出来的。大概意思是说重新组合学到的特征的权重，获得新看到的物体的类别。

总结

出发点是很容易想到的，但是具体如何实现就很复杂。这篇论文用的meta-learning的思路。