深度学习数学基础

微分

1.重识微分

导数：描述某点的切线斜率。 f(x) = dy / dx

微分：描述函数值的微小变化和自变量微小变化的关系。 dy = f'(x) * dx

二者的侧重点不同。

导数的代数解释是：更精细的除法运算。（瞬时的 即时的） 

微分的代数解释是：函数fx在某点的变动规律。（fx如何随着x的变化而变化）

2.单调性与凹凸性

3.链式求导法则：

复合函数求导、隐函数求导(y换为y(x) )

4.偏微分全微分

深度学习中，函数是多变量的，我们需要知道每个输入变量的变化如何影响输出。偏微分告诉我们每个权重的变化如何影响总体误差。

求x的偏导先将y值带入，本质上是降维后的求导运算。

全微分是偏微分的求和，所有变量的变动对结果产生影响的总和。

5.梯度和方向导数

梯度是一个向量， 它的各个分量是多变量函数的各个偏微分。

梯度的方向是函数 增长最快的方向，大小是该方向的变化率。

方向导数的定义为：在点(x, y)的梯度 * u方向向量。可以理解为，在u方向上求导的结果如何 或者u方向上函数值与自变量的变化关系。

6.泰勒公式和麦克劳林公式

思想来源于微分公式：f(x) ≈ f(x0) + f'(x0) * (x - x0)，用某点函数值和导数 近似该函数。

导数的阶数越高，在离x0较远的地方拟合效果越好。分母除以的阶乘是为了抑制高次幂函数对整体的影响。

麦克劳林公式是泰勒公式x0=0的时候。

7.拉格朗日乘子法

SVM

积分

1.积分的代数解释是：更精细的乘法。

2.不定积分和反导数

不定积分求原函数+常数c

a是b的反导数，则b是a的导数。

3.定积分与牛莱

揭示了积分与反导数的关系。