方向导数 梯度 Hessian矩阵 散度 曲率圆 泛函分析

方向导数

为什么我好像不理解这个式子？
直观的感受cos总觉得应该在左边？
但是微分。这里要用微分的视角看问题！
看下面的式子应该就明白了。p就是模，w不用管它。

梯度

这个好理解，这是个算子，不是一个值。算子可以代入函数，求其值。

Hessian矩阵

全部是二阶偏导数

要算A的值，肯定得找一个坐标 M 的具体值代入进去
（1）当A正定矩阵时， 在M处是极小值；
（2）当A负定矩阵时， 在M处是极大值；
（3）当A不定矩阵时， M不是极值点。
（4）当A为半正定矩阵或半负定矩阵时， M是“可疑”极值点，尚需要利用其他方法来判定。

• 半正定，说明对任意方向的导数 l，如下，说明 f 是个凸函数
  $$\begin{gathered} l=\left[l_1,...,l_n\right] \\ {f}^{”}\left(x\right)=lA{l}^T⩾0 \end{gathered}$$
• 半负定，说明凹函数
• 正定，说明严格凸函数
• 负定，说明严格凹函数

散度

如下图为 函数F 的散度

曲率圆

曲率圆，又称密切圆。
在曲线上一点M的法线上，在凹的一侧取一点D ，使DM等于该点处的曲率半径，以D为圆心，DM为半径作圆，这个圆叫做曲线在点M处的曲率圆。

曲率

看着真眼熟，但是记住就好。曲率半径 R=1/K

泛函分析

泛函是什么？
就是以函数为自变量的函数。

基函数

基函数 就是一个函数的固定形式,也就是函数只会在这个函数的基础上变化而不会丢掉的函数。

函数空间

可以由一组正交基函数构成函数空间

特征值和特征函数

$$\iint f\left(x\right)K\left(x,y\right)f\left(y\right)dxdy⩾0$$
对于上式，则称 K 是对称半正定的。
（其实一个定积分就可以看成是外面又套了一个函数。）
$$\int K\left(x,y\right)\phi \left(y\right)dy=\lambda \phi \left(x\right)$$
对于上式，如果存在$\lambda$使上式成立，则$\phi$是K的特征函数，$\lambda$为特征值。

函数内积

$$<f,g>=\int f\left(x\right)g\left(x\right)dx$$
若，${\phi }_1$ 与 ${\phi }_2$ 内积为0，则特征函数正交。

希尔伯特空间

什么是空间？
有限维集合元素的全体。
有距离度量，是度量空间。
有线性约束，是线性空间。
有尺寸度量，是赋范空间。
有内积运算，是内积空间。
欧式空间刚好是上面的组合。
完备的内积空间被称为希尔伯特空间。