工程优化第二章总结

比较重要的：

• 多元函数梯度和Hesse矩阵
• 多元函数极值和判别
• 凸集和凸函数

---

多元函数的梯度和Hesse矩阵

多元函数分类：

偏导数定义：

二元函数的可微性：
如果二元函数 z = f(x₁, x₂)在定义域 D 的内点(x₁,x₂)处全增量∆z = f(x₁+∆x₁,x₂+∆x₂) - f(x₁,x₂);
可表示成 ∆z= A∆x₁ + B∆x₂ + o(ρ), ρ=(∆x₁²+∆x₂²)^1/2;
称f(x₁,x₂)在点(x₁,x₂)可微，A∆x₁ + B∆x₂称为函数f(x₁,x₂)在点(x₁,x₂)的全微分，记作 dz=df=A∆x₁ + B∆x₂ ;
满足：

则函数f可微。
向量表示：∆x 和 l 都为向量

多元函数可微性：

定理：可微必可导
若f(x)在x⁰处可微，则f(x)在该点处关于各变量的一阶偏导数存在.

多元函数梯度：
以f(x)的 n 个偏导数为分量的向量称为 f(x) 在x处的梯度，记为∇f(x)

方向导数：



Hesse矩阵：（简单来说就是梯度的梯度）


其中I为nxn的单位阵E；

---

多元函数极值和判别条件

二元函数取极值的必要条件：

函数在(x0,y0)取极值且可微，则在此点处一阶偏导为0.
可微的极值点一定是驻点，反之不一定成立。

二元函数去极值点的充分条件：

延伸——多元函数的必要条件和充分条件：

无约束优化



这里的凸函数与高数中的凸函数不同，函数曲线或曲面往下才为凸，往上则为凹；

---

等高线

定义(等值线):若一条曲线上任何一点的目标函数值等于同一常数，则称此曲线为目标函数的等值线。

定义(等值面):在三维和三维以上的空间中，使目标函数取同一常数值的面 {x| f(x)=r, r是常数} 称为目标函数的等值面。

定理：若多元函数在其极小点处的 Hesse 阵正定，则它在这个极小点附近的等值面近似地呈现为同心椭球面族。

---

多元函数分析

二次型：代数学中将特殊的二次函数f(x)=1/2 x^TQx称为二次型。 x为向量

定义：设Q为n×n对称矩阵

• ∀x∈Rⁿ，x≠0，均有x^TQx > 0，则称矩阵Q是正定的
• ∀x∈Rⁿ，均有x^TQx >= 0，则称矩阵Q是半正定的
• 若-Q是正定的，则称Q是负定的
• 若-Q是半正定的，则称Q是半负定的

一般判断是否是正定矩阵求矩阵的顺序主子式，全大于0则为正定矩阵。

定理：若二次函数f(x)=1/2 x^TQx + b^Tx + c 中Q正定，则它的等值面是同心椭球面族，且中心为x^* = -Q^-1b。
且如果f(x)的Hesse矩阵为正定矩阵，则x^*为他的唯一极小值。

---

凸集、凸函数、凸规划

凸函数定义：若f^’'(x)>=0，则f(x)是凸的。
即函数图像是往下的。反之则为凹函数。

凸集：若集合D中任意两点的连线都属于D，则称为凸集。
空集和单元集也是凸集。

即，任意的两点的连线都属于D。没有凹入部分，也没有空洞。

例题&定理：
例1: 证明集合 S = { x∣Ax = b } 是凸集。其中A为 m×n矩阵，b为m维向量。
通过定义证明；

例2: 集合H={x|s∈Rⁿ,c^Tx=b}是凸集, 称为超平面，c为n维向量

例3：邻域N(x₀, δ ) = { x | || x - x₀ || < δ ，δ > 0 } 是凸集。

这个图比较重要，可能考试会考

不重要，走个过场

凸函数：

若进一步有上面不等式以严格不等式成立（即<），则称 f(x)为凸集D 上的严格凸函数。

凸函数性质：

• 性质1： f(x) 为凸集 S 上的凸函数⇔ S 上任意有限点的凸组合的函数值不大于各点函数值的凸组合。
• 性质2：设 f1, f2 是凸集D上的凸函数
  1. 设a, b > 0, 则af1+bf2 是凸函数；
  2. f(x)= max{ f1(x) , f2 (x) } 是凸函数。

判定定理：

凸规划：考虑如下非线性规划

当f(x),gi(x)(i=1,2,…,m)都是凸函数时，称(1)为凸规划。

性质：
性质1：设(1)为凸规划，则
i) (1)的可行集R是凸集；
ii) (1)的最优解集是凸集；
iii) (1)的任何局部极小点都是全局极小点。

性质2：设(1)为凸规划，若f(x)在非空可行集R上是严格凸函数，则(1)的全局极小点是唯一的。

为什么凸在最优化中如此特殊

• 凸集有非空的相对内部；
• 凸集是连通的并且在任意点具有可行方向；
• 凸函数的局部极小点都是全局极小点；
• 可微凸函数的任一驻点都是全局极小点。

---

关于范数的几个重要不等式

向量运算：x , y ∈ Rⁿ （比较重要）
x , y 的内积：<x,y>=xTy = Σ xi*yi = x1y1+ x2y2+ …+ xnyn

x , y 的距离： ‖x-y‖= [(x-y)^T(x-y)]^(1/2)

x的长度：||x||=[x^Tx]^(1/2)

三角不等式： ‖x + y‖≤‖x‖+‖y‖

向量范数：

定义：

（不是很重要）

---

序列极限

（不是很重要）

由极限的性质可知，如果无穷序列有界，则这个序列必有聚点.