64.合理使用预训练网络-3

64.1 目标检测中如何从零开始训练(train from scratch)

• 目标检测和其他任务从零训练模型一样，只要拥有足够的数据以及充分而有效的训练，同样能训练出不亚于利用预训练模型的检测器。
  • 1、数据集不大时，同样需要进行数据集增强。
  • 2、预训练模型拥有更好的初始化，train from scratch需要更多的迭代次数以及时间训练和优化检测器。
    • 而二阶段模型由于并不是严格的端对端训练，此时可能需要更多的迭代次数以及时间，而一阶段检测模型训练会相对更容易些（例如DSOD以ScratchDet及）。
  • 3、目标检测中train from scratch最大的问题还是batch size过小。
    • 所以可采取的策略是增加GPU使用异步batchnorm增大batch size，若条件限制无法使用更多GPU时，可使用groupnorm代替batchnorm
  • 4、由于分类模型存在对多目标的捕捉能力弱以及对物体空间位置信息不敏感等问题，可借鉴DetNet训练一个专属于目标检测的模型网络，增强对多目标、尺度和位置拥有更强的适应性。

64.2 如何改善 GAN 的性能

• 优化GAN性能
  • 设计或选择更适合目的代价函数。
  • 添加额外的惩罚。
  • 避免判别器过度自信和生成器过度拟合。
  • 更好的优化模型的方法。
  • 添加标签明确优化目标。
• GAN常用训练技巧
  • 输入规范化到（-1，1）之间，最后一层的激活函数使用tanh（BEGA