深度学习、优化与识别（第1章 深度学习基础）

引言

从第一代的深度前馈神经网络开始，随之而来的就有如下三个问题：

1）可用训练数据量远小于模型中的参数量，容易出现过（欠）拟合现象；

2）随着层级的增加，模型的优化目标函数呈现高度非凸性，由于待优化参数所在的可行域中存在着大量的鞍点和局部极小值点，所以参数初始化策略影响着网络模型的稳定性和收敛性；

3）基于误差的反向传播算法越靠近输出层变化越大，越靠近输入层变化越小，这对通过梯度下降方式来实现逐层参数更新会导致梯度弥散现象。

---

1.1 数学基础

1.1.1 矩阵论

1.1.2 概率论

1.1.3 优化分析

1.1.4 框架分析

---

1.2 稀疏表示

1.2.1 稀疏表示初步

1.2.2 稀疏模型

1.2.3 稀疏认识学习、计算与识别的范式

---

1.3 机器学习与神经网络

1.3.1 机器学习

1.3.2 神经网络