2021-08-09

BBN：Bilaterial-Branch Network(CVPR2019)论文翻译

Introduction：
第一段：公开数据集是均匀的，但现实中有大量不均衡数据集。
第二段：采用类平衡来解决问题，有很多参考文献，重采样（26,1,14，11,2,7,21,4），重加权（13,30,5,23）
第三段：重采样会有过拟合与欠拟合的情况，重加权通过改变甚至反转数据呈现的频率来扭曲原始分布
第四段：前期的工作论证这两种方法的不好一面，在表征阶段和最后一层全连接层分别采用三种方法，ce、rw、rs，在cifar10-n50上进行验证，从图2中发现固定表征层时重平衡训练的分类器效果好于ce，在固定分类器上用ce训练表征层反而更好
第五段：提出bbn同时兼顾表征和分类器的学习，传统的采用均匀的采样器，bbn采用再平衡分支和反向采样器，通过自适应参数α，首先从原始分布中学习通用特征，然后逐渐关注尾部特征，进一步控制每个分支的参数更新
第六段：在广泛的研究中以及消融实验下（ablation studies）表明了模型的有效性，贡献如下：
1、根据问题发现了重平衡的能促进分类器学习，却阻碍了表征的学习，影响了原始分布
2、建立了bbn同时兼顾分类器和表征的学习，还提出新的累计学习策略
3、在四个数据集上验证我们的方法更好

Related Work：
第一段：重采样的研究，过采样是重复少数类别的数据（26,1,2）（会对少数过度拟合）（4,5），欠采样通过舍弃多数类别的数据（14,1,11）（削弱网络的泛化能力）
第二段：重加权的研究，分配较大的损失函数中尾部样本的权重（13,30），但是不能用于大规模数据集（20），cui采用了有效样本加权（5），cao采用了少数类别的边界（3）
第三段：最近有两阶段微调策略（3,6,22），一阶段在原始分布中训练，二阶段仅利用重平衡用较小的学习率进行微调
第四段：还有不同的学习方法，不做多介绍
第五段mixup：混淆（35）是一种数据增强方法，将图像与标签随机进行凸组合，生成额外的样本。manifold mixup（29）对流型特征空间进行增强，混合比率为β

How class re-balancing strategies work?：
第一段：还是在讲重平衡的策略优缺点
第二段：采用控制变量法进行实验
第三段：介绍cifar长尾数据集（3,5）
第四段：九组结果
第五段：九组结果

Methodology：
Overall framework总体框架：
bbn由三个组件组成，设计了两个分支（conventional learning branch 、re-balancing branch），两个分支采用相同的残差网络，共享除最后一个残差块的所有权重，x为训练样本，y为对应标签，C为类的数量。对于双边分支的每一个分支，采用均匀和反向采样器，获得两个样本传统分支（xc，yc）和再平衡分支（xr，yr），通过全局平均池化获得特征向量fc，fr。
还设计了一个累计学习策略，用于训练阶段在两个分支之间转移学习的注意力，通过自适应trade-off参数α控制fc和fr的权重，加权α*fc和（1-α）*fr，分别送到分类器，分别送到分类器wc和wr中。

Proposed bilateral-branch structure 两种分支的独特性：
data samplers：传统的学习采用均匀uniform的采样，保留原始分布的特征，有利于表征的学习。重平衡分支采用reversed的采样，提高尾部的分类精度。讲述反向采样的公式和步骤
weighes sharing：一方面传统分支的学习有利于重平衡分支的学习，另一方面大大降低计算的复杂度
Proposed cumulative learning strategy累计学习策略：
控制两个分支的特征权重和损失函数，提出累计学习的策略在双边分支之间转移学习焦点，首先学习通用模式然后关注尾部特征。随着epoch增加，α逐渐减小。bbn逐渐将学习重点从特征转向分类器，重点从传统分支转向重平衡分支，提高尾部的准确率。与两阶段微调策略（3,6,22）不同，α 确保在分 支中不断更新，避免一个目标进行训练时对另一个目标的影响。
Inference phase推理阶段：
将α固定为0.5，通过element-wise addition返回分类结果

Experiments：
Datasets and empirical settings：
cifar长尾数据集的介绍
inaturalist数据集介绍，除了不平衡问题还面临fine-grained细度的问题（34,37,32,33）

Implementation details：
Implementation details on CIFAR：数据扩充策略由（12）提出：从原始图像或其水平翻转中随机裁剪32×32个patch，每侧填充4个像素pixel，Resnet32，SGD，momentum 0.9，weight decay 2e-4，200个epoch，单个GPU，batch：128，第一个lr=0.1，后按照学习速率表（8），学习率在（120,160）衰减0.01
Implementation details on iNaturalist：采用resnet50（12），遵循（8）中的训练策略，在4GPU上，batch=128，我们首先通过将短边设置为256像素来调整图像大小，然后从图像或其水平翻转中进行224×224裁剪。学习率在（60,80）衰减0.1

Comparison methods：
在实验中，将BBN模型与三组方法进行比较：
Baseline methods：以ce和focal为baselines，还采用了一系列的mixup（35，29）进行比较实验
Two-stage fine-tuning strategies：为了证明累计学习策略的有效性，与两阶段的微调进行比较（3），第一阶段ce，第二阶段重平衡（ce-drw，ce-drs）
State-of-the-art methods：与LDAM（3）和CB（5）进行比较

Main results：
Experimental results on long-tailed CIFAR：表1证明了bbn的最佳
Experimental results on iNaturalist：在2017/2018上采用了2*的调度器的bbn

Ablation studies：
Different samplers for the re-balancing branch再平衡分支的不同采样器：对比了uniform、balance、reverse进行对比，发现再平衡分支用反向的取样器更
Different cumulative learning strategies：探索了几种不同的策略来生成CIFAR-10-IR50上的自适应权衡参数α，发现线性、余弦、抛物线衰变比等权、β、抛物线增量更好，这证明了应该先学习传统分支，再学习重平衡分支。最好的方法是抛物线衰减。更详细的讨论见补充材料

Validation experiments of our proposals：
Evaluations of feature quality：如表5所示，BBN的传统学习分支（“BBN-CB”）获得的特征表示与CE具有相当的性能，这表明我们提出的BBN极大地保留了从原始长尾数据集学习到的表示能力。BBN的重新平衡分支（“BBN-RB”）也比RW/RS获得更好的性能，这可能要归功于我们模型的参数共享设计。
Visualization of classifier weights：wi代表每一类的权重，将这些分类器“2-norm”可视化，可视了cifar10-50的10分类的“2-norm”（9），对于bbn，可视化了bbn-cb的权重、bbn-rb的权重以及bbn-all的权重，以及传统的ce、rw、rs的权重。可以得出，bbn-all基本相等，且标准差最小。ce的分布于长尾的分布一 致，rw、rs的标准差都大一点，bbn-rb刚好与反向长尾相同。

Conclusions
SUPPLEMENTARY MATERIALS：
在补充材料中，我们提供了我们提出的BBN模型的更多实验结果和分析，包括：
A、在大型数据集iNaturalist 2017和iNaturalist 2018上进行不同表示和分类器学习方式的附加实验（参见本文第3节和图2）：

B、再平衡策略对学习特征紧凑性的影响：证明重平衡会破坏通用的表征，重平衡的平均距离大于常规训练，尤其是头部数据，重平衡学习特征的紧凑性弱于传统训练。重新平衡策略，“每个类别的类内分布变得更可分离，在某种程度上损害所学深层特征的普遍代表性能力，对于头部类，使用CE训练的表示比使用RW/RS训练的表示更接近，因为每个类的表示更接近其质心。垂直轴是每个类别的学习特征与其相应质心之间的平均距离（越小越好）。

C、BBN模型与系综方法的比较：α>0.5表征学习为重点，α<0.5分类器为重点，

D、生成α的不同适配器策略的坐标图；

E、我们提出的BBN模型的学习算法：