微分
1.重识微分
导数:描述某点的切线斜率。 f(x) = dy / dx
微分:描述函数值的微小变化和自变量微小变化的关系。 dy = f'(x) * dx
二者的侧重点不同。
导数的代数解释是:更精细的除法运算。(瞬时的 即时的)
微分的代数解释是:函数fx在某点的变动规律。(fx如何随着x的变化而变化)
2.单调性与凹凸性
3.链式求导法则:
复合函数求导、隐函数求导(y换为y(x)
)
4.偏微分全微分
深度学习中,函数是多变量的,我们需要知道每个输入变量的变化如何影响输出。偏微分告诉我们每个权重的变化如何影响总体误差。
求x的偏导先将y值带入,本质上是降维后的求导运算。
全微分是偏微分的求和,所有变量的变动对结果产生影响的总和。
5.梯度和方向导数
梯度是一个向量,
它的各个分量是多变量函数的各个偏微分。
梯度的方向是函数
增长最快的方向,大小是该方向的变化率。
方向导数的定义为:在点(x, y)的梯度 * u方向向量。可以理解为,在u方向上求导的结果如何 或者u方向上函数值与自变量的变化关系。
6.泰勒公式和麦克劳林公式
思想来源于微分公式:f(x) ≈ f(x0) + f'(x0) * (x - x0),用某点函数值和导数
近似该函数。
导数的阶数越高,在离x0较远的地方拟合效果越好。分母除以的阶乘是为了抑制高次幂函数对整体的影响。
麦克劳林公式是泰勒公式x0=0的时候。
7.拉格朗日乘子法
SVM
积分
1.积分的代数解释是:更精细的乘法。
2.不定积分和反导数
不定积分求原函数+常数c
a是b的反导数,则b是a的导数。
3.定积分与牛莱
揭示了积分与反导数的关系。