机器学习中的数学（1）

一、微积分
范式：
向量的1范数：向量的各个元素的绝对值之和
向量的2范数：向量的每个元素的平方和再开平方根

梯度：
梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

在这里X是一个矢量，f（X）的梯度就是一个1*i的一个矩阵。
Hessian矩阵：

这个Hessian矩阵时一个正定的矩阵。

那么为什么沿着梯度的方向下降最快呢？
这里我们引用泰勒公式
输入是标量的泰勒公式：

输入是矢量的泰勒公式：

对于标量来说，f‘(x)=0的点是极大值点，极小值点或者鞍点ÿ