机器学习常用数学公式（梯度说明）

输入为标量(Scalar)

$f(x_k+\delta)\ \approx\ f(x_k)+f'(x_k)\delta+\frac{f''(x_k)\delta^2}{2}\ \ \ \ \ \ \delta+x_k\in \mathring U(x_k)$

对于极值点$x_k$(极大值点和极小值点)表示在$\forall x\in U{(x_k)}$，都有$f(x)\leq f(x_k)\ (f(x)\geq f(x_k))$

我们只看泰勒级数的前两项,即$f(x_k+\delta)\ \approx\ f(x_k)+f'(x_k)\delta$，可以看出如果$x_k$为极大(小)值点，那么恒有$f(x_k)\geq f(x_k+\delta)\ \ (f(x_k)\leq f(x_k+\delta))$，所以当$\delta+x_k\in \mathring U(x_k)$时，必有$f'(x_k)\equiv0$

如果现在满足$f(x_k)=0$，且

1. $f''(x_k)>0​$，则$x_k​$为严格的局部极小值点(反之为局部极大值点)
2. $f''(x_k)=0$，则有可能是一个鞍点(Saddle Point)

输入为矢量(Vector)

$$f(\vec x_k+\vec \delta)\ \approx\ f(\vec x_k)+\nabla^T f(\vec x_k)\vec\delta+\frac{1}{2}\vec\delta^T\nabla^2f(\vec x_k)\vec\delta$$
补充，由上式 $$f(\vec x_k+\vec \delta)\ -\ f(\vec x_k) = \nabla^T f(\vec x_k)\vec\delta$$ 可以看出，当我们在 $\ \vec x_k\ $附近加上一个扰动 $\ \vec \delta\ $之后函数值的变化为 $\ \nabla^Tf(\vec x_k)\vec\delta\ $, 因此，我们可以得出如下结论，当这个扰动 $\ \vec \delta\ $的方向与其在 $\ \vec x_k\ $处的梯度方向一致，那么这个函数值的变化就会最大（ 增加），或者说，梯度的反方向将会使函数值同样变化最大（ 减少）

Newton’s Method

​ 它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程根的方法，它表达的意思就是，对于方程$f(x)=0$,欲求其解$x^*$，使得$f(x^*)=0$,那么可以任意初始化一个值$x_0$作为$f(x)$的解，接着判断$x_0$是否为$f(x)$的解（第一种，$f(x_0)$是否为0，第二种，$x_i$与$x_{i+1}$是否无限接近（当然此时$f(x_{i+1})$的绝对值也必然无限接近于于0）)，如果不是，我们求出$f(x)$在点$x_i$处切线与x轴的交点作为$f(x)$的下一个解$x_{i+1}$，然后继续判断$x_{i+1}$是否为$f(x)$的解，直到找到解为止(必定在方程$f(x)$的解处收敛)。$f(x)$在$x_i$处的切线方程为，

$$f(x)=f(x_i)+f'(x_i)(x-x_i)$$ 那么它的下一个可能解为 $x_{i+1}$，即令切线方程为0(切线与X轴交点 $x_{i+1}$)，得到， $$x_{i+1}=x_{i}-\frac{f(x_i)}{f'(x_i)}$$

​

$$对于方程f(x)\ =\ 0,\ x_{n+1}\ =\ x_{n}\ -\frac{f(x_{n})}{f'(x_{n})}为其根的迭代公式$$

非线性方程转为线性方程可利用Taylor’s formula

def calc_solution(n):  # x*x = n
    if n < 0:  # enable to calculate complex
        print('error')
    xi = 1
    xi1 = 10
    while abs(xi-xi1) > 0.0001:
        t = xi1
        xi1 = xi - (xi**2-n)/(2*xi)
        xi = t
    return xi1