论文学习解读

1.Group Normalization  替代BN批规一化的

论文地址：https://arxiv.org/abs/1803.08494

批量归一化（Batch Normalization，以下简称 BN）是深度学习发展中的一项里程碑式技术，可让各种网络并行训练。但是，批量维度进行归一化会带来一些问题——批量统计估算不准确导致批量变小时，BN 的误差会迅速增加。在训练大型网络和将特征转移到计算机视觉任务中（包括检测、分割和视频），内存消耗限制了只能使用小批量的BN。在这篇论文中，作者巧妙提出了群组归一化 Group Normalization (简称 GN) 作为 BN 的替代方案。

2.Focal Loss for Dense Object Detection

目前目标检测的框架一般分为两种：基于候选区域的two-stage的检测框架（比如fast r-cnn系列），基于回归的one-stage的检测框架（yolo,ssd这种），two-stage的效果好，one-stage的快但是效果差一些。

本文作者希望弄明白为什么one-stage的检测器准确率不高的问题，作者给出的解释是由于前正负样本不均衡的问题（感觉理解成简单-难分样本不均衡比较好）

由于大多数都是简单易分的负样本（属于背景的样本），使得训练过程不能充分学习到属于那些有类别样本的信息；其次简单易分的负样本太多，可能掩盖了其他有类别样本的作用（这些简单易分的负样本仍产生一定幅度的loss，见下图蓝色曲线，数量多会对loss起主要贡献作用，因此就主导了梯度的更新方向，掩盖了重要的信息）

作者提出一种新的损失函数，思路是希望那些hard examples对损失的贡献变大，使网络更倾向于从这些样本上学习。