【AI】什么是深度学习中的Batch Norm？

什么是Batch Norm：

• 个人感觉，Batch Norm是深度学习中出镜率很高的一项技术，可以使训练更容易、加速收敛、防止模型过拟合。在很多基于CNN的分类任务中，被大量使用（个人理解，BN层很适合分类任务！）。
• BN对图像来说类似于一种对比度的拉伸，其色彩的分布都会被归一化，会破坏了图像原本的对比度信息（所以BN就不适合做超清晰度重建之类的任务）。
• 但是图像分类不需要保留图像的对比度信息，利用图像的结构信息就可以完成分类，所以Batch Norm反而降低了训练难度，甚至一些不明显的结构，在Batch Norm后也会被凸显出来（对比度被拉开了）。