深层神经网络小结

设计神经网络结构时的两个总体原则——非线性结构和多层结构：深度学习基本上就是深层神经网络的代名词，非线性结构和多层结构是解决复杂问题的必要方法，线性模型和浅层模型具有固有局限性。
对于损失函数：神经网络是一个优化问题，而损失函数刻画了神经网络需要优化的目标。分类问题和回归问题有各自常用的损失函数，实践中又是也需要自己设计更加贴近实际问题需求的损失函数。不同损失函数对神经网络参数优化结果的影响不同。
关于神经网络的优化：优化神经网络时最常用的是梯度下降算法和反向传播算法，随机梯度下降和使用batch的随机梯度下降算法也需要掌握，并需懂得使用TensorFlow优化神经网络计算框架。
关于神经网络优化过程中可能会遇到的问题：1.通过指数衰减的方式来设置学习率，既可以加快训练初期的训练速度，同时在训练后期又不会出现损失函数在极小值周围徘徊往返的情况；2.通过正则化可以解决过拟合问题，当损失函数仅仅取决于在训练数据上的拟合程度时，神经网络模型有可能只是“记忆”了所有的训练数据，而无法很好地对未知数据做出判断，正则化通过在损失函数中加入对模型复杂程度的隐私，可以有效避免过拟合问题；3.使用滑动平均模型可以让最后得到的模型在未知数据上更加健壮。