深度学习基础

为什么在分类问题中 Loss 一般用交叉熵损失函数（cross entropy） 而不适用类似平方损失函数

交叉熵适合衡量两个概率分布的差异

为什么需要 非线性的激活函数

训练误差 （training error）和泛化误差（generalization error） 

虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。

训练数据集大小

影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模型。

防止过拟合的方法：

权重衰减（weight decay）

丢弃法 dropout

正向传播  forward propagation 和 反向传播 back-propagation