关于2018 iNaturalist 挑战赛与 iMaterialist挑战赛

• 网址：
  https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650744369&idx=3&sn=3cef83479d26a2bfbe8cfca169d6d878&chksm=871ae24fb06d6b5936a3275a1658cec56c3a7083853108a6f17a56898ec5e714234cbc3430fe&mpshare=1&scene=1&srcid=06272nukmdIrp5VRGydSVq5u#rd

• 方法启发

1.  cicle lr polity
   1. 描述：Cycle 用两个等长的步骤组成一个 cycle：从很小的学习率开始，慢慢增大学习率，然后再慢慢降低回最小值。Radek Osmulski 在增大学习率的同时降低动量，这也印证了一个直觉：在训练中，我们希望 SGD 可以迅速调整到搜索平坦区域的方向上，因此就应该对新的梯度赋予更大的权重。其实在真实场景中，可以选取如 0.85 和 0.95 的两个值，在增大学习率的时候，将动量从 0.95 降到 0.85，在降低学习率的时候，再将动量重新从 0.85 提升回 0.95
   2. 分析：可以看做一种新的优化方法
2. 数据增强
   1. 描述：水平翻转、旋转、高斯模糊、锐化、截取和归一化等方法
   2. 分析：增大样本集合，拟合样本分布
3. Stacking CNN
   1. 描述：开发者会将DenseNet、inception_resnet_v2、Inception-v3、Nasnet 和 ResNet-50 等九个模型的预测结果叠加在一起为 9×228×1 的张量，其中每一个基础模型提供一张 1×228×1 的张量，它代表了模型对 228 个类别的预测结果。如下所示当叠加为这种张量后，我们可以使用 3×1 的卷积在它上面执行步幅为 1 的卷积运算，这种卷积可以学习到各基础模型原始预测之间的相关性。因为 3×1 的卷积其实相当于在同一个类别上，加权三个模型的预测并输出到下一层。所以这也相当于一种集成方法，模型会自动学习不同基础模型预测的重要性，并结合所有基础模型作出最终预测
   2. 分析：模型组合 + 特征组合，其实就是多获取局部特征，多组合局部特征
4. 概率校准
   1. 描述：他们表示在训练集中，类别数量是非常不平衡的，但在验证集中类别数量是平衡的，因此我们可能需要使用概率校准以解决这种训练于验证之间的分布差异。Google Research 张晓表示：「校准分为两步： a) 对于每个 label 的预测概率，除以该类别的物体数，除以对应的先验概率； b) 对所有更新后的 label 的预测概率做归一化（相加得到 1）」
   2. 分析：从概率分布的角度，直觉上与 BN 的出发点一致

• 主要问题

1. 细粒度图像识别分为强监督和弱监督识别，强监督需要部分标注，弱监督需要label标注。由于细粒度识别很多时候需要使用注意力机制或 Faster R-CNN 等方法抽取局部特征，并用于预测最终细分类别，所以需要很多的 局部特征，因此需要很多的数据标注。主流的学术界和工业界的主流方法中，都需要大量的数据标注，因此 数据清洗和标注就成了一个很大的问题。 对于如此数量的人工标注和数据清洗，是很难完成的。因此，如何有效地利用海量网络爬去的商品图片，在没有或者只有少量人工标注和清洗的情况下，训练一个高性能的商品识别模型，成为一个关键的技术 
2. 细粒度的 类别数量多给分类问题也带来了挑战，分类器的设计趋向于层次化。
   “ 除了细粒度分析，SKU 级别的商品识别通常需要识别大量的商品种类，比如超过 10 万类，而常见的 ImageNet 物体识别通常只有 1,000 类。这是商品识别的另一个挑战，而常用的单层 softmax 分类模型很难解决，这就需要引进多层级联的细粒度分类算法，从而加大细粒度识别的难度“。
3. 细粒度图像识别需要 综合局部跟整体的信息：

   “ 谷歌张晓表示：「选手这些网络最终层的 dimension 都比较小（比如 7x7），这种情况下最终做决策时很难兼顾不同尺度的信息。如果需要兼顾局部和整体需要使用 Feature Pyramid Network，或者类似于编码器/解码器的结构在最终层使用高维的预测”

• 主要技术

1. part-based feature + attention
2. CNN
3. XGBoost
4. 贝叶斯理论

PS: 不得不说，CSDN的博客排版写起来太2了.....