暴力拆解《Numerical Optimization》之器材准备（数学知识补充）

1.Jacobian矩阵和Hessian矩阵

Jacobian矩阵：

假设有，，那么，定义Jacobian矩阵为y对x的导数，为：

特别的，当m = 1时，我们所得到的Jacobian矩阵为梯度(gradient)：

Hessian矩阵：

Hessian矩阵为梯度对的二阶导，为：

Hessian矩阵为对称矩阵。

2.几个常用的矩阵求导公式

3.链式求导法则

若，那么：

我们来试试下面这道题，其中是一个关于x的函数，计算下列函数对的导数：

令其导数为0，试试看你能不能算出下面的答案：

这个公式我们将在后面频繁的使用到，不妨记下来。

4.步长的取值

对于目标函数

当下降方向一定时，在没有任何约束条件的情况下，步长的最佳取值。

将代入目标函数，然后对步长进行求导，令导数为零，即可解出：

如有觉得上面有错误，或者有疑问，请评论，我们一起探讨。Thanks for your patience! :)