主要总结两个问题:
- 为什么传统的深层神经网络,随着层数的增加会越来越难拟合训练?
- 问题1的常见对策(Batch_Normalization)的介绍
一、为什么传统的深层神经网络,随着层数的增加会越来越难拟合训练?
众所周知,传统的深层神经网络,随着层数的加深,模型会变得很难训练,很难拟合,这个很多人都知道,但是为什么呢,怎么样解释清楚?
首先机器学习领域有一个很重要的假设:即独立同分布假设,就是假设训练数据与测试数据是满足相同分布,这是通过训练数据获得的模型能够在测试集上获得好的效果的一个基本保障。
传统的深层神经网络,随着层数加深,很难拟合:
究其原因是因为深层神经网络不同层之间会进行非线性变换,目的是通过非线性变换使得网络能够得到更强的表征能力,多层的线性叠加是没有意义的。
多层的这种非线性变换带来的结果就会使得模型的训练数据的分布会发生偏移或者变动,这个现象叫做Internal Covariate Shift,之所以会训练收敛很慢,是