日常paper reading

"MEAL V2: Boosting Vanilla ResNet-50 to 80%+ Top-1 Accuracy on ImageNet without Tricks"

利用蒸馏方式提高resnet50的表现。蒸馏时采用多个教师网络集成的方式，只在最后的输出部分做蒸馏、使用教师模型的softlabel, 并且包含一个判别器判别是教师模型还是学生模型

BBN：bilateral-branch network with cumulative learning for long-tailed visual recognition

用于改善长尾分布的识别问题。作者发现正常采样的特征更加通用，紧凑，从采样的特征较为稀疏更适合分类，所以结合各自的优点提出了双分之网络，一个分支正常输入、一个分之重采样。通过一个调节器控制分支的学习权重。改善了长尾识别。

详情：https://mp.weixin.qq.com/s/XiKIhNf6vt-GFdzixhzl9g

Rethinking the Value of Labels for Improving Class-Imbalanced Learning

从数据的角度解决长尾识别的问题。作者提出了两个框架：1）利用无标签的数据进行半监督学习，2）不引入额外的数据，将训练分为两个阶段：首先自监督学习（不使用已有的标签），做一个预训练，然后再用常规的监督学习正常训练。

详情https://mp.weixin.qq.com/s/czBE8Wg8WFGBX3FnVgxIIg

LambdaResNets  未阅读

https://zhuanlan.zhihu.com/p/266745304