最优化理论——优化设计的数学模型、泰勒展开式

一、优化设计的数学模型 

 这里令 G(X) = 0 也可以理解为上面的等值线，也会相应的得到等值线或者面，这样的话，就会把空间分为可行域和非可行域，可行解就出现在可行域当中

 一般情况下都有多个限制条件，多个不等式限定条件会把可行域限制在一个范围内，等式限制条件会把可行域限制在可行域中的某条线上，多个等式限制条件获将可行域限制在1个点中

二、泰勒展开式

注：图中画框部分，在多元函数中两个列向量无法直接相乘，所以一个变成原来的转置

 Hessian矩阵：

Hessian矩阵是一个 nxn阶的实对称矩阵，所以在求解是只需要求解上三角部分或者下三角部分即可。

• 在判断优化算法的可行性时Hessian矩阵的正定性起到了很大的作用,若Hessian正定,则函数的二阶偏导恒大于0,函数的变化率处于递增状态,在牛顿法等梯度下降的方法中,Hessian矩阵的正定性可以很容易的判断函数是否可收敛到局部或全局最优解。

泰勒展开式例子