matlab normrnf,最优化方法及其matlab程序设计习题答案

>gk=[-6 -3]’;Bk=[4 -4;-4 8]; >> dta=1; 14 >> [d,val,lam,k]=trustq(gk,Bk,dta) d = 0.870281791219574 0.492554154744547 val = -5.928777686124834 lam = 5.158202203432865 k = 5 >> dta=2; [d,val,lam,k]=trustq(gk,Bk,dta) d = 1.726569382044938 1.009434577568092 val = -10.321239036609670 lam = 1.813689513237923 k = 7 >> dta=5; [d,val,lam,k]=trustq(gk,Bk,dta) d = 3.749999980155628 15 2.249999987787719 val = -14.624999999999998 lam = 8.078453007598365e-009 k = 4 (2) >> gk=[1 -3 -2]’;Bk=[3 -1 2;-1 2 0;2 0 4]; dta=1; [d,val,lam,k]=trustq(gk,Bk,dta) d = -0.262643366009954 0.837433127446609 0.479295543075525 val = -2.501140183861169 lam = 1.268746535391740 k = 7 >> dta=2; [d,val,lam,k]=trustq(gk,Bk,dta) 16 d = -0.333333333333382 1.333333333329036 0.666666666665635 val = -2.833333333333333 lam = 6.261736529506079e-012 k = 5 >> dta=5; [d,val,lam,k]=trustq(gk,Bk,dta) d = -0.333333333333433 1.333333333180722 0.666666666628600 val = -2.833333333333333 lam = 2.286320834416492e-010 k = 4 17 7第第第七七七章章章非非非线线线性性性最最最小小小二二二乘乘乘问问问题题题P98-1，，，2，，，6 1. 设有非线性方程组 f1(x) = x3 1− 2x22− 1 = 0 f2(x) = 2x1+ x2− 2 = 0 (21) (1)列出求解这个方程组的非线性最小二乘问题的数学模型； 最小二乘问题的数学表达式：minx∈Rnf(x) = 1 2 ∥F(x)∥ = 1 2 ∑m i=1f 2 i(x) (2)写出求解该问题的高斯-牛顿法迭代公式的具体形式： Jk= F′(x(k)) = (∇F1(x(k)),,∇Fm(x(k)))T= ( 3x2 1,k −4x2,k 21 ) (22) dGN k = −[JT kJk] −1JT kF(xk) = [( 3x2 1,k 2 −4x2,k1 )( 3x2 1,k −4x2,k 21 )]−1( 3x2 1,k 2 −4x2,k1 )( x3 1,k− 2x 2 2,k− 1 2x1,k+ x2,k− 2 ) (23) (3)初始点取为x0= (2,2)T,迭代三次： 迭代公式： Xk+1= Xk+ dGN k X1= X0+ dGN 0 = 3.107142857142859 3.785714285714287 X2= X1+ dGN 1 = 5.157431640715118 7.685136718569831 X3= X2+ dGN 2 = 8.766682264589718 18 16.466635470820520 2. 解答：(1)测得的t1,t2和y一共5组数据，分别代入关系式 y = x1x3t1 1 + x1t1+ x2t2 (24)            0.13 = x1x3 1+x1+x2 0.22 = 2x1x3 1+2x1+x2 0.08 = x1x3 1+x1+2x2 0.13 = 2x1x3 1+2x1+2x2 0.19 = 0.1x1x3 1+0.1x1 (25)            F1(x) = x1x3− 0.13(1 + x1+ x2) F2(x) = 2x1x3− 0.22(1 + 2x1+ x2) F3(x) = x1x3− 0.08(1 + x1+ 2x2) F4(x) = 2x1x3− 0.13(1 + 2x1+ 2x2) F5(x) = 0.1x1x3− 0.19(1 + 0.1x1) (26) (1)最小二乘问题模型表示为minx∈Rnf(x) = 1 2 ∥F(x)∥ = 1 2 ∑m i=1F 2 i(x) (2)高斯牛顿迭代公式的具体公式为： dGN k = −[JT kJk] −1JT kF(xk) 6.利用LM方法的matlab程序求解minf(x) = 1 2 ∑5 i=1r 2 i(x) 其中            r1(x) = x2 1+ x22+ x23− 1 r2(x) = x1+ x2+ x3− 1 r3(x) = x2 1+ x22+ (x3− 2)2− 1 r4(x) = x1+ x2− x3+ 1 r5(x) = x3 1+ 3x22+ (5x3− x1+ 1)2− 36t (27) t为参数，可取t = 0.5,1,5等，注意当t = 1时，x∗= (0,0,1)T是全局极小 点，这时问题为零残量，比较不同参数的计算效果。 function [x,val,k]=lmm(Fk,JFk,x0) %功能: 用L-M方法求解非线性方程组: F(x)=0 %输入: x0是初始点, Fk, JFk 分别是求F(xk)及F’(xk)的函数 %输出: x, val分别是近似解及——F(xk)——的值, k是迭代次数. maxk=1000; %给出最大迭代次数 19 ρ = 0.55;σ = 0.4;k= norm(feval(Fk,x0)); k=0; epsilon=1e-6; n=length(x0); while(kx0 = [1,1,1]′;[x,val,k] = lmm(′Fk′,′JFk′,x0) x = 0.339361063668441 -0.200183578804671 0.714384339944574 val = 0.486062168183995 21 k = 9 (II)t=1;注意，这里x∗= (0,0,1)T是全局极小点，这时问题为零残量。 >>clearall;x0 = [1,1,1]′;[x,val,k] = lmm(′Fk′,′JFk′,x0) x = -0.000000000000080 0.000000000000087 0.999999999999985 val = 2.815888304992978e-027 k = 8 (III)t=5; >>clearall;x0 = [1,1,1]′;[x,val,k] = lmm(′Fk′,′JFk′,x0) x = -0.490713830929549 0.103144026198463 2.384345136824180 val = 14.450411547247533 k = 14 22 8第第第八八八章章章最最最优优优性性性条条条件件件P112-1，，，2,5,6 1.验证 x = (2,1)T是否为下列最优化问题的KT点： minf(x) = (x1− 3)2+ (x2− 2)2 s.t.x2 1+ x22≤ 5, x1+ 2x2= 4, x1,x2≥ 0. (28) 验证：计算 ∇f( x) = [ 2(x1− 3) 2(x2− 2) ]? ? ? ? x= x = [ −2 −2 ] ,∇h( x) = [ 1 2 ] (29) ∇g1( x) = [ −2x1 −2x2 ] = [ −4 −2 ] ,∇g2( x) = [ 1 0 ] ,∇g3( x) = [ 0 1 ] (30) 令 ∇f( x) − ∇h( x) − λ1∇g1( x) = 0 即 [ −2 −2 ] − [ 1 2 ] − λ1 [ −4 −2 ] − λ2 [ 1 0 ] − λ3 [ 0 1 ] = 0(31) 令λ2= 0, λ3= 0,解得 = −2 3, λ1= 1 3 所以 { ∇f( x) − ∇h( x) − ∑3 i=1 λi∇gi( x) = 0 λigi( x) = 0,λi≥ 0,i = 1,2,3 (32) 这表明 x是KT点，( x,( ,λ))是KT对，其中 = −2 3, λ = (1 3,0,0) T. 2.对于最优化问题： minf(x) = 4x1− 3x2 s.t.−(x1− 3)2+ x2+ 1 ≥ 0, 4 − x1− x2≥ 0, x2+ 7 ≥ 0. (33) 求满足KT条件的点。 解：类似第1题 23 ∇f( x) = [ 4 −3 ]? ? ? ? x= x = [ 4 −3 ] ,∇h( x) = [ 0 0 ] (34) ∇g1( x) = [ −2( x1− 3) 1 ] ,∇g2( x) = [ −1 −1 ] ,∇g3( x) = [ 0 1 ] (35) 令 { ∇f( x) − ∇h( x) − ∑3 i=1 λi∇gi( x) = 0 λigi( x) = 0,λi≥ 0,i = 1,2,3 (36) 即：                [ 4 −3 ] −λ1 [ −2( x1− 3) 1 ] −λ2 [ −1 −1 ] −λ3 [ 0 1 ] = 0 λ1(−( x1− 3)2+ x2+ 1) = 0 λ2(4 − x1− x2) = 0 λ3( x2+ 7) = 0 λi≥ 0,i = 1,2,3 (37) 取λ3= 0 4 − x1− x2= 0 => x2= 4 − x1 代入−( x1− 3)2+ x2+ 1 = 0 => −( x1− 3)2+ 4 − x1+ 1 = 0 => x1= 1或 x1= 4 当 x1= 4时， x2= 0,λ1= −7/3,λ2= 2/3,不满足λi≥ 0舍去; 当 x1= 1时， x2= 3,λ1= 7/3,λ2= 16/3,满足λi≥ 0; 5.利用KT条件推出线性规划 minz = cTx s.t.Ax ≤ b, x ≥ 0, (38) 的最优化条件。 解： 24 { ∇f(x) − ∑2 i=1λi∇gi(x) = 0 λigi(x) = 0,λi≥ 0,i = 1,2 (39) ∇g1(x) = −A, ∇g2(x) = I, 其拉格朗日函数为 L(x,λ1,λ2) = cTx − λT 1(b − Ax) − λT2x 对上述函数关于x求极小. 令 ∇xL(x,λ1,λ2) = c − λ2+ ATλ1= 0, 由(39)λ2g2(x) = λ2x = 0, 令λ2= 0, 因此最优性条件为： { c + ATλ1= 0 λ1(b − Ax) = 0,λ1≥ 0 (40) 6.设二次规划 minf(x) = 1 2x THx + cTx s.t.Ax = b, (41) 其中H为n阶对称正定矩阵，矩阵A行满秩，求其最优解并说明解的唯一 性。 解： 首先写出该问题的拉格朗日函数为 L(x,λ) = 1 2x THx + cTx − λT(Ax − b). 对上述函数关于x求极小. 由于H对称正定, 故函数L(x,λ)关于x为凸函数. 令 ∇xL(x,λ) = Hx + c − ATλ = 0, H对称正定，以及等式约束条件Ax = b, 25 Hx + c − ATλ = 0, x + H−1c − H−1ATλ = 0, Ax + AH−1c − AH−1ATλ = 0, b + AH−1c − AH−1ATλ = 0, H对称正定，A行满秩，因此，AH−1AT可逆(需要简单证明), λ = (AH−1AT)−1(b + AH−1c), 因此有拉格朗日乘子的唯一性解， 也就有了最优解x = −H−1c + H−1ATλ的唯一性。 9第第第九九九章章章罚罚罚函函函数数数法法法P132，，，1-(1)、、、2-(1)、、、3-(3),6 1-(1):用外罚函数法求解下列约束优化问题： minf(x) = −x1− x2 s.t.x2 1+ x22= 1, (42) 解： 由等式约束得x2= √1 − x2 1, 代入目标函数得到一个无约束的单变量极小 化问题 minϕ(x1) = −x1 √1 − x2 1 其全局极小点为x1= √ 1 2,从而得到原问题的全局极小点为( √ 1 2, √ 1 2). 现在要使构造的罚函数P(x),满足 P(x) { = 0,x2 1+ x22− 1 = 0 > 0,x2 1+ x22− 1 ̸= 0, (43) 只要令P(x) = (x2 1+ x22− 1)2即可. 现在考察目标函数和上述罚函数的组合 P(x,σ) = f(x) + P(x) = −x1− x2+ σP(x) 其中σ > 0是充分大的正数，称为罚因子(罚参数)。求这个组合函数的极 小点. 由 26 ∂P(x,σ) ∂x1 = ∂P(x,σ) ∂x2 = 0, 得 { −1 + 4σx1(x2 1+ x22− 1) =0 −1 + 4σx2(x2 1+ x22− 1) =0 (44) 由此可得x1= x2̸= 0，因此x1(2x2 1− 1) = 1 4σ,当σ → ∞,x1 = 0(舍去)和x1= √ 1 2。所以x1 = x2= √ 1 2,minf(x) = − √2. 2-(1).用内点法求解下列约束优化问题： (1) minf(x) = x1+ x2 s.t.−x2 1+ x2≤ 0, x1≥ 0; (45) —————————–更正——————————————————— minf(x) = x1+ x2 s.t.−x2 1+ x2≥ 0, x1≤ 0; (46) ——————————————————————————————- 解： 令g1(x) = x2 1− x2,g2(x) = x1,给出增广目标函数为 H(x,τ) = x1+ x2− τ(ln(x2 1− x2) + ln(x1)) 令 { ∂H ∂x1 =1 − 2τx1 x2 1−x2 − τ x1 = 0 ∂H ∂x2 =1 + τ x2 1−x2 = 0 (47) x2 1− x2= −τ,1 + 2x1− τ x1 = 0, x1= −1√1+8τ 4 , τ → 0,x1= 0或x1= −1 2 x2 1− x2= −τ x2= 0或x2= 1 4 当x1= −1 2，x2 = 1 4时min f(x)=− 1 4. 27 ——————————更正———————————————————— 解： 令g1(x) = −(x2 1− x2),g2(x) = −x1,给出增广目标函数为 H(x,τ) = x1+ x2− τ(ln(−x2 1+ x2) + ln(−x1)) 令 { ∂H ∂x1 =1 + 2τx1 −x2 1+x2 − τ x1 = 0 ∂H ∂x2 =1 − τ −x2 1+x2 = 0 (48) x2 1− x2= −τ,1 + 2x1− τ x1 = 0, x1= −1√1+8τ 4 , τ → 0,x1= 0或x1= −1 2 x2 1− x2= −τ x2= 0或x2= 1 4 当x1= −1 2，x2 = 1 4时min f(x)=− 1 4. ————————————————————————————————- 3-(1).用乘子法求解下列问题： (1) minf(x) = x2 1+ x22 s.t.x1≥ 0; (49) 解： PHR算法： 我们回到一般约束优化问题(9.28,9.33)(书上), 我们来构造求解(49) 的乘 子法. 此时, 增广拉格朗日函数为 ψ(x,,λ,σ) = f(x)−∑l i=1ihi(x)+ σ 2 ∑l i=1h 2 i(x)+ 1 2σ ∑m i=1([min{0,σgi(x)− λi}]2− λ2 i) 乘子迭代公式为 (k+1)i= (k)i− σhi(xk),i = 1,2,,l, 28 (λk+1)i= max{0,(λk)i− σgi(xk)},i = 1,2,,m. 令 βk= (∑l i=1h 2 i(xk) + ∑m i=1[min{gi(xk), (λk)i σ }]2) 1 2 则终止准则为βk≤ ε —————————————-重要—————————————————— ψ(x,λ,σ) = f(x) + 1 2σ([min{0,σx1 − λ1}]2− λ2 1) ————————————————————————————————— 令    ∂ψ ∂x1 =2x1= 0,if(σx1− λ1) 0 ∂ψ ∂x2 =2x2= 0 (50) ——-数值方法角度—————————————————————————— 取初始点x0= (0,0)T,λ1= 1,σ1= 2,ε = 1e − 5 x1= x2= 0,min f(x)=0 ——————————————————————————————————– x1= λ1 2+σ,x2 = 0;或者x1= 0,x2= 0 σ → ∞,x1= 0,x2= 0;min f(x)=0 6.略。 10第第第十十十一一一章章章二二二次次次规规规划划划习习习题题题11 P178-1(((1)))，，，5 1.用拉格朗日方法求解下列二次规划问题：(1) minf(x) = 2x2 1+ x22+ x1x2− x1− x2, s.t.x1+ x2= 1; (51) 首先写出该问题的拉格朗日函数为 L(x,λ) = 1 2x THx + cTx − λ(AX − 1). H = ( 41 12 ) ,c = ( −1 −1 ) ,A = (1,1),(52) 29 对上述函数关于x求极小. 由于H对称正定, 故函数L(x,λ)关于x为凸函数. 令 ∇xL(x,λ) = Hx + c − ATλ = 0, H对称正定，以及等式约束条件Ax = 1, ( H−AT −A0 )( x λ ) = ( −c −1 ) ,(53)   41−1 12−1 −1−10     x1 x2 λ  =   1 1 −1  , (54) 解得   x1 x2 λ  =   1/4 3/4 3/4  , (55) 5.设A ∈ Rmn行满秩，a ∈ Rn,证明二次规划问题 min 1 2(x − a) T(x − a), s.t.Ax = b; (56) 的解以及相应的拉格朗日乘子分别为： x∗= a + AT(AAT)−1(b − Aa),λ∗= (AAT)−1(b − Aa) 证明： 二次规划问题等价于 min 1 2x THx − aTx +1 2a Ta, s.t.Ax = b; (57) 其中H单位矩阵E， 对上述函数关于x求极小. 由于H对称正定, 故函数L(x,λ)关于x为凸函数. 令 ∇xL(x,λ) = Hx − a − ATλ = 0, H对称正定，以及等式约束条件Ax = b, Hx − a − ATλ = 0, x + H−1(−a) − H−1ATλ = 0, 30 Ax + AH−1(−a) − AH−1ATλ = 0, b + AH−1(−a) − AH−1ATλ = 0, 其中H单位矩阵E，A行满秩，因此，AAT可逆(需要简单证明), λ = (AAT)−1(b − Aa), 因此有拉格朗日乘子的唯一性解， 也就有了最优解x = −H−1(−a) + H−1ATλ = a + AT(AAT)−1(b − Aa)的唯 一性。 31