《深度学习的数学基础》小结

第三周结束，已经学习完引言和第一章内容，下面做个小结并对未来几周的内容进行预习。

Lesson1是从数学的视角揭示深度学习本质是傅里叶函数拟合非线性函数问题，介绍三类误差，并告诉我们使用深度学习的意义在于其非线性拟合能力。
Lesson2-Lesson3是第一章：优化器。
Lesson2主题是损失函数，它是用来衡量模型预测值与真实值之间的差距。分离散和连续的情况介绍常用损失函数（L2损失、MSE、交叉熵损失、分类中的经验计算）以及基于其它度量的损失函数。
Lesson3主题是优化算法（最小化损失函数的方法），根据损失函数的特点选择不同优化方法。最常用的梯度下降法：求损失函数的梯度，沿着这个方向最快到达损失最小值。一般随机梯度下降法效果更好，“随机”指的是每轮epoch对样本划分都不同。除此之外，介绍了针对特定问题自适应学习率的不同优化器（线性搜索、动量法、AdaGrad、RMSProp、Adam和AdaMax）。

Lesson4–Lesson8 第二章：神经网络。
Lesson4主题是激活函数。激活函数是用于网络拟合过程中的模型部分，因此在模型输出之前（清醒点，不要和损失函数弄混！！！）。一是列举6个常见损失函数（线性函数、阶跃函数、Hockey-stick函数（像高尔夫球杆一样）、Sigmoid函数（S型）、Bumped-type函数（凸型）、分类函数）；二是指出连续的S型函数对任意测度可区分，即存在一种方法能根据不同的标准（即测度，测度帮助获得物体属性，比如重量、颜色）能完成分类任务，这意味着连续的S型函数能实现建立模型完成数据分类、回归等任务，建模能力、泛化能力、算法选择上不那么受限；三是介绍Squashing函数（递增的S型函数）及其性质，说明递增的S型激活函数一定存在收敛子列，损失函数收敛有助于损失函数减小，这意味着提高模型的准确性、泛化能力和训练速度。
Lesson5、Lesson6、Lesson7主题是前馈神经网络。一是介绍了各种神经元（感知器、Sigmoid神经元、线性神经元、Adaline和Madaline）和通过网络神经元如何实现前向传播；二是分情况讨论了最简单的全连接神经网络的微分，推广到一般神经网络的微分；三是从前向传播和反向传播两个方面分析权重初始化；最后讨论宽度神经网络中的神经元数量，并用积分表示宽度神经网络。

Lesson8进入第三章：神经网络的逼近理论。用来估计学习中的近似误差。（这个误差和损失函数的那种误差不一样吧，具体不一样在哪？一个是针对结果，一个是指具体过程？）
Lesson8、Lesson9主题是一维的通用近似。介绍了Stone-Weierstrass定理、Wiener’s Tauberian定理、Heaviside 激活近似、具有S型激活近似。它们会说明什么问题？