西电计算机学院工程优化,西电工程优化优化复习.ppt

西电工程优化优化复习

例1: 证明集合 S = { x∣Ax = b } 是凸集，其中A为 m?n矩阵，b为m维向量。 定义：设 那么称 是 的凸组合。 定义(凸函数): 设集合 D ? Rn 为凸集，函数 f :D?R, 若 ? x, y ? D, ? ? (0 , 1) ，均有 f(? x+(1- ?) y ) ≤?f(x)+(1- ?)f(y) ， 则称 f(x)为凸集 D 上的凸函数。 若进一步有上面不等式以严格不等式成立，则称 f(x)为凸集 D 上的严格凸函数。 当-f(x)为凸函数(严格凸函数)时，则称 f(x)为凹函数 (严格凹函数)。 定理(一阶条件): 设D ? Rn 为非空凸集，函数 f :D?R 在 D 上可微，则 (1) f在D上为凸函数? 任意x，y?D，恒有 f (y) ≥ f (x)+ ?f T(x)(y-x) (1) (2) f在D上为严格凸函数? 任意x≠y?D，恒有 f (y) > f (x)+ ?f T(x)(y-x) . (2) 定理(二阶条件): 设D ? Rn 为含有内点的非空凸集，函数 f :D?R在 D 上二次可微，则 a) f在D上为凸函数? ?x?D，?2f (x) 半正定； b) 若 ?x?D，?2f (x) 正定，则f在D上为严格凸函数。 回忆：一个矩阵半正定充要条件是所有主子式非负； 一个矩阵正定充要条件是所有顺序主子式非负。 例：设二次函数 (1)：若 为半定矩阵， 在 中为凸函数 ； (2)：若 为正定矩阵， 在 中为严格凸函数。 (精确)一维搜索的一个重要性质 “成功—失败” 法(进退法) “成功—失败” 法(进退法) 步骤1：选取初始点 x∈R , 初始步长 h > 0 及精度ε> 0， 步骤2：计算 步骤3：若 搜索成功, 转步骤4；否则，搜索失败， 转步骤5。 步骤4：令 x:= x + h, 转步骤 2。 步骤5：判断 若 停止迭代， ；否则令 转步骤 2。 缺点：效率低。优点：可以求搜索区间。 例1：设给定初始点为 a 及初始步长为 h, 求搜索区间[c, d] 1) 前进运算 首先计算 f (a), f (a+h), 如果 f (a)> f (a+h), 则步长加倍, 计 算f (a+3h). 若 f (a+h)<= f (a+3h), 则c=a, d=a+3h; 否则将步 长再加倍，并重复上面运算. 2) 后退运算 如果 f (a)< f (a+h), 则将步长缩为原来的1/4并改变符号，即 将步长改为-h/4, 如果 f (a)< f (a-h/4),则c=a-h /4,d=a+h; 否则 将步长加倍，并继续后退。 0.618法(黄金分割法) 0.618法是求单峰函数极值的一种试探法，有的书上也称为区 间收缩法。 在搜索区间[a,b]上插入两个点，将分为三个子区间，通过比较 2个插入点的函数值的大小，可删去左边或者右边区间，使搜索区 间缩短。重复上述过程，使搜索区间不断缩短，当区间缩短到一 定程度时，区间上各点都可以作为极小点的近似。 仅适用于求解单峰函数 0.618法(黄金分割法) 定义(单峰函数)：设 f(x) 是定义在[a, b]上的函数，若 1) ? x* ∈[a, b] 是φ在[a, b]上的最小点 ， 2) 若对任意 x1 , x2, a≤ x1 < x2 ≤b , 满足：