网路性能提升的策略

数据增强

tips:
1.综上所述，实证结果表明，在训练的后期，数据增强的作用更大，可以利用它对不同的增强策略产生有效和可靠的奖励估计

sync_batchnorm

bacth_norm 在每张先卡上是单独计算的，例如：batch为32，4张卡，那么其实每张卡在计算batch_norm时，batch就是32/4=8,这样就很少了，对于部分 Task，比如 Action Recognition，确实就是这样的，因此，sync_batchnorm可以统计多张卡上的norm信息，相当于有时32样本一起算。
但是没有免费的午餐，这涉及GPU之间的NCCL策略通信，因此，cost就上来了。

dropblock

论文：
DropBlock: A regularization method for convolutional networks
Github：
https://github.com/miguelvr/dropblock
https://github.com/DHZS/tf-dropblock