1-imet-2019-fgvc6 总结

1 使用泰坦，batch会增大，BN加入会提升性能。

2 Focal loss，BCE 也有一样的功能

是在交叉熵损失函数的基础上进行的修改，回顾二分类交叉上的损失：

给不同的类别分配不同的权重，首先在原有的基础上加了一个因子，其中gamma>0使得减少易分类样本的损失，使得更关注于困难的，错分的样本。

例如gamma为2，对于正样本而言，预测结果为0.95肯定不是简单的样本，所以（1-0.95）的gamma次方会很小，这时损失函数数值就变得更小，而预测概率为0.3的样本其损失相对很大，对于负样本而言，预测0.1 的结果应当远比预测0.7 的样本损失值要小的多，对于预测概率为0.5时，损失只减少了0.25倍，所以更加关注这种难以区分的样本，这样减少了简单样本的影响，大量预测概率很小的样本叠加起来后的效应才可能比较有效。此外加入平衡因子alpha，用来平衡正负样本本身的比例不均，文中alpha 取0.25，即正样本要比负样本占比小，这是因为负例易分。

只添加alpha 虽然可以平衡正负正负样本的重要性，但是无法解决简单与困难样本的问题。

gamma 调节简单样本权重降低的速率，当gamma为0 时即为交叉熵损失函数，当gamma增大时，调整因子的影响也在增加，实验发现gamma为2是最优的。

3 one-stage和two-stage 的表现差异主要原因是大量前景背景不平衡导致的，作者设计了一个简单密集型网络RetinaNet来保证速度的同时达到了精度最优。在双阶段算法中，在候选框阶段，通过得分和nms筛选过滤掉了大量的负样本，然后在分类回归阶段又固定了正负样本比例，或者通过OHEM 在线困难挖掘使得前景和背景相对平衡，而one-stage阶段需要产生约100k的候选位置，虽然有类似的采样，但是训练仍然被大量负样本所主导。

4 多标签多类别的分类

激活函数是用softmax还是sigmoid？loss 是用BCE还是categorical-cross-entropy还是Focal loss。度量标准使用F2-score accuracy还是topk 的categorical_accuracy

多标签中softmax 是不太合适的，softmax 只得到一个answer，如果使用sigmoid 以及二元交叉熵损失，将能预测到多个类别。

BCE，Focal，以及categorical CE：

多标签的，BCE要好于交叉熵损失函数

不同的class 使用不同的阈值。F2作为度量标准。

5 1st

数据处理裁剪：例如600*600,300*500,300*900,300*600.