机器学习-->数学基础

方向导数：

如果函数z=f(x,y)在点P(x,y)是可微分的，那么，函数在该点沿任一方向L的方向导数都存在，且有：

其中，ψ为x轴到方向L的转角。

那么在点p(x,y)处沿着什么方向变化最快呢？再以上面公式为例，可以将上面公式写成这样的形式：

上面公式右侧第一项我们可以看成是，第二项是直线L的方向，其中ψ为x轴到方向L的转角，那么这个ψ取多大是，这个变化率最大呢？我们知道当向量a和向量b之间夹角为0时，其向量的点乘最大，由此我们可以得出当，即是直线L的方向等于偏导向量方向时，变化最快。

梯度
设函数z=f(x,y)在平面区域D内具有一阶连续偏导数，则对于每一个点P(x,y)∈D，向量

为函数z=f(x,y)在点P的梯度，记做gradf(x,y)。梯度的方向是函数在该点变化最快的方向。

二阶可微
若函数f二阶可微，则函数f为凸函数当前仅当dom为凸集，且

若f是一元函数，上式表示二阶导大于等于0
若f是多元函数，上式表示二阶导Hessian矩阵半正定。

Hessian矩阵：假设有二元函数

这个矩阵半正定就是矩阵大于等于0且>=0。
注意：机器学习里的凸函数和凹函数与数学里面的相反。