动手学习深度学习笔记1：深度学习基础

1. 正则化：在数据量比较小的情况容易出现过拟合的情况，正则化是解决这一问题的解决方案之一。
2. 丢弃法：以一定的概率丢弃隐藏层中的神经元，丢弃概率是丢弃法的超参数，通常建议把离输出层附近的隐藏层的丢弃概率设置的小一点。丢弃法仅仅在训练模型时起作用，在模型测试中不应该使用丢弃法。丢弃法也可以在一定程度上解决过拟合的问题。
3. 反向传播：同时依赖于模型参数和变量（如隐藏变量）的当前值，由于在模型训练时交替使用正向和反向传播来进行模型参数的更新，我们可以直接利用正向传播中计算得到中间变量值来进行反向更新实现复用，但是这同时也带来一个问题就是正向传播后不能立马释放内存。这是训练要比预测占用更多内存的一个重要原因。中间变量的个数大体上与网络层数线性相关，每个变量的大小跟批量大小和输入个数也是线性相关的，它们是导致深度神经网络使用大批量训练时容易超内存的主要原因。
4. 参数衰减：参数在每一层神经网络的传递过程中逐渐衰弱，特别是对于深度神经网络。
5. 参数爆炸：参数的量与神经网络层数之间呈指数关系增长，容易导致出现巨量的参数。
6. 模型参数初始化：同一层中的神经元一般都是采用相同计算方式（如线性变换+激活函数），所以通过随机的模型参数初始化可以有效利用神经元来提取不同的特征。