paper read weekly(three)

一晃过去一周多了，白驹过隙里的8月，尾巴里的日子，既盼着早些过去，又心里暗许着每一秒的珍贵。

我热爱一切的需要等待和沉淀：琥珀里的时间，微暗的灯火，那忽明忽暗的未来，那在路上向彼此靠近的我们。

---

最近一直在整理对称网络，包括Unet、Unet升级版、hourglassNet，stacked-hourglassNet，尝试了如下方向：

• 增减卷积层、pooling—unpooling/deconvolution层
• 改变loss
• 调超参
• 数据集的预处理
• 预训练和finetune
• ……

半个月下来，目标任务的效果依然乏善可陈，有点陷入“鞍点”而举步维艰的感觉。不过，有新鲜且有启发的paper可读，还是一件值得开心的事。接下来就进入正题。

---

<FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks>
想写这篇paper更多的是因为它里边很多的想法都具有很好的普适性，很多实验策略都很有启发。主要体现在以下几点：

• 数据集的训练策略：

  • 网络的初始化更好的策略是通过数据集的预训练来完成对其初始化；
  • 数据集的运用顺序也很重要。比如由易到难、由粗到细、由大到小；
  • 针对深度网络依然无法解决的“顽疾”，可以手动挑选或者人工制作小数据集，对网络进行精细微调。
  • -

• “网络块”的堆叠：

  • 可复用网络块的堆叠可以实现对特征的提取的优化
  • 块间可以引入监督信息，即loss的前置，可以改进单个块的特征提取能力，同时避免更早的发现错误；
  • 块的输入也可以多变，从而融合不同层之间不同level的特征，相当于引入先验；
  • 本文中不仅有原始图片的输入，还会有本层的误差作为下层的输入；

• 多网融合：

  • 第一种是网络并行训练，前几层权值共享，后几层单独训练，再做特征融合，或者完全分开训练；
  • 第二种是大小网络分开训练的特征融合；
  • 第三种就是两个网络完全独立训练，然后组合串行，分阶段完成各自任务；

  本文中还有一个可以借鉴的trick是，将原图和label（适用于也是图片的）先进行一个embeding操作，然后在特征层面上求loss。这个就相当于将原图和label先映射到同一空间，然后再计算各自特征之间的差异，感觉更合理。。。

---