《优化方法基础》知识点总结：凸优化、最优性条件与约束优化问题

《优化方法基础》知识点总结

本总结适用于课程《优化方法基础》，结合《凸优化》教材（Convex Optimization，written by Stephen Boyd），以及老师PPT总结而成，适用于期末复习以及快速查阅知识点使用。笔记基本无误，但仍然请以老师上课所讲为准。 同时，这份笔记主要是为了节省不必要的整理时间，并不是上课不听讲的理由 ，如果因为上课不听讲造成的问题作者概不负责。制作不易，请勿转载，也禁止以盈利为目的打印销售。版权所有，违法必究。

---

---

第一章 凸集和凸函数

1. 最小二乘问题分析解 $$x^{\ast }={\left(A^{\top }A\right)}^{-1}{A}^{\top }b$$
2. 最小二乘计算时间复杂度 $$O\left(n^{2}m\right)\text{，}A\in {\mathbb{R}}^{m\times n}$$
3. 对偶范数 $${\Vert z\Vert }_{\ast }=sup\left\{z^{T}x:\Vert x\Vert \le 1\right\}=sup\left\{z^{T}x:\Vert x\Vert =1\right\}$$
4. 凸集 $$z=\theta x+\left(1-\theta \right)y\in C$$
5. 凸函数 $$f\left(\lambda x+\left(1-\lambda \right)y\right)\le \lambda f\left(x\right)+\left(1-\lambda \right)f(y)$$
6. 范数定义:
   ① $f$是非负的：$\forall x\in {\mathbb{R}}^n$，有$f\left(x\right)\ge 0$
   ② $f$是正定的：若$f\left(x\right)=0$，则$x=0$
   ③ $f$是齐次的：$\forall x\in {\mathbb{R}}^n$和$t\in \mathbb{R}$，有$f\left(tx\right)=|t|f\left(x\right)$
   ④ $f$满足三角不等式：$\forall x,y\in {\mathbb{R}}^n$，有$f\left(x+y\right)\le f\left(x\right)+f(y)$
7. 二次范数 $${\Vert x\Vert }_P={\left(x^{\top }Px\right)}^{\frac{1}{2}}={\Vert P^{\frac{1}{2}}x\Vert }_2$$

第二章 对偶与最优性条件

1. 拉格朗日函数 $$L\left(x,\lambda ,v\right)=f_0\left(x\right)+{\sum }_{i=1}^m{\lambda }_i{f}_i(x)+{\sum }_{i=1}^p{v}_i{h}_i(x)$$
2. 拉格朗日对偶函数 $$L_D\left(\lambda ,v\right)=\underset{x\in X}{\inf }L\left(x,\lambda ,v\right)=\underset{x\in X}{\inf }\left[f_0\left(x\right)+{\sum }_{i=1}^m{\lambda }_i{f}_i\left(x\right)+{\sum }_{i=1}^p{v}_i{h}_i\left(x\right)\right]$$
3. 拉格朗日对偶问题 $$\underset{\lambda ,v}{\max }{L}_D\left(\lambda ,v\right)s.t.\lambda \ge 0$$
4. 强对偶性 $$d^{\ast }\le p^{\ast }\text{，即}\underset{x\in X}{\min }\underset{\lambda \ge 0}{\max }L\left(x,\lambda ,v\right)\ge \underset{\lambda \ge 0}{\max }\underset{x\in X}{\min }L\left(x,\lambda ,v\right)$$
5. 弱对偶性 $$d^{\ast }=p^{\ast }\text{，即}\underset{x\in X}{\min }\underset{\lambda \ge 0}{\max }L\left(x,\lambda ,v\right)=\underset{\lambda \ge 0}{\max }\underset{x\in X}{\min }L\left(x,\lambda ,v\right)$$
6. 最优对偶间隙 $$p^{\ast }-d^{\ast }$$
7. 对偶间隙 $$f_0\left(x\right)-L_D\left(\lambda ,v\right)$$
8. Slater约束品性 存在集合$X\text{的}$一个内点$x_0$，使得$$f_i\left(x_0\right)<0\left(i=1,2,\cdots ,m\right),A{x}_0=b\text{，}$$则凸优化问题的强对偶性成立。
9. 通过解对偶问题求解原问题 最优对偶间隙为0，当对偶问题的求解比原问题更简单时，可通过先求解对偶问题得到$({\lambda }^{\ast },v^{\ast })$，再求解优化问题$$x^{\ast }=arg\underset{x\in X}{\min }L\left(x,{\lambda }^{\ast },v^{\ast }\right)=f_0\left(x\right)+{\sum }_{i=1}^m{\lambda }_i^{\ast }{f}_i\left(x\right)+{\sum }_{i=1}^p{v}_i^{\ast }{h}_i\left(x\right)$$
10. KKT方程
    $$\{\begin{array}{c}\begin{array}{c}\nabla f_0\left(x^{\ast }\right)+{\sum }_{i=1}^m{\lambda }_i^{\ast }\nabla f_i\left(x^{\ast }\right)+{\sum }_{i=1}^k{v}_i^{\ast }\nabla h_i\left(x^{\ast }\right)=0\\ f_i\left(x^{\ast }\right)\le 0,i=1,2,\cdots ,m\end{array}\\ \begin{array}{c}{\lambda }_i^{\ast }{f}_i\left(x^{\ast }\right)=0,i=1,2,\cdots ,m\text{ (互补松弛性)}\\ {\lambda }_i^{\ast }\ge 0,i=1,2,\cdots ,m\end{array}\\ h_i\left(x^{\ast }\right)=0,i=1,2,\cdots ,p\end{array}$$
11. 互补松弛性 $${\lambda }_i^{\ast }{f}_i\left(x^{\ast }\right)=0,i=1,2,\cdots ,m$$ 即导数=0

第三章 无约束优化问题

1. 最优性条件 $$KKT最优性条件：KKT方程$$

2. 次优性条件：概念上的停止准则 $$f\left(x\right)-p^{\ast }\le \frac{1}{2m}||\nabla f\left(x\right)|{|}_2^2$$

3. 强凸性假设 存在$$m>0\text{满足}\forall x\in S\text{， }{\nabla }^{2}f\left(x\right)\ge mI$$

4. Hessian矩阵上界 存在$$M>0\text{满足}\forall x\in S\text{， }{\nabla }^{2}f\left(x\right)\le MI$$

5. 通用下降算法
   ① 给定初始点 $x^0\in domf\text{，}$令$k=0$
   ② 停止条件$\Vert \nabla f\left(x^k\right)\Vert \le \epsilon$
   ③ 确定$x^k$处下降方向$d^k$使满足$\exists \hat{t}>0\text{，}$
   $$f\left(x^k+t{d}^k\right)<f\left(x^k\right),\forall t\in \left(0,\hat{t}\right)$$
   ④ 直线搜索：确定步长$t^k>0$使
   $$f\left(x^k+t^k{d}^k\right)<f\left(x^k\right)$$
   ⑤ 更新 $$x^{k+1}=x^k+t^k{d}^k\text{，}k=k+1\text{，}$$回②

6. 精确直线搜索 $$t=argmi{n}_{s\ge 0}f(x+sd)$$

7. 回溯直线搜索
   ① 给定$d^k\text{及}0<\alpha <0.5,0<\beta <1$
   ② $t=1$
   ③ 当 $$f\left(x+t{d}^k\right)>f\left(x\right)+\alpha t\nabla f{\left(x\right)}^{\top }{d}^k\text{，}t:=\beta t$$
   结束

8. 梯度下降方法
   ① 给定初始点 $x^0\in domf\text{，}$令$k=0$
   ② 判断是否停止：如果$||\nabla f(x^k)||\le \epsilon$，停止
   ③ $d^k=-\nabla f\left(x^k\right)$
   ④ 直线搜索：确定$t^k>0$满足
   $$f\left(x^k+t^k{d}^k\right)<f\left(x^k\right)$$
   ⑤ 更新$$x^{k+1}=x^k+t^k{d}^k\text{，}kk+1\text{，}$$回②

9. 下降方向 $$d^k=-\nabla f(x^k)$$

10. 收敛性
    $$\{\begin{array}{c}f\left(x^k\right)-f\left(x^{k+1}\right)\ge \frac{1}{2M}||\nabla f\left(x^k\right)|{|}^2\\ f\left(x\right)-p^{\ast }\le \frac{1}{2m}||\nabla f\left(x\right)|{|}_2^2\end{array}\Rightarrow f\left(x^K\right)-p^{\ast }\le {\left(1-\frac{m}{M}\right)}^K\left(f\left(x^0\right)-p^{\ast }\right)$$
    所以有收敛次数的上界为：$$f\left(x^K\right)-p^{\ast }\le \epsilon ⟹K\le \frac{\log \left(\frac{\left(f\left(x^0\right)-p^{\ast }\right)}{\epsilon }\right)}{\log \left(\frac{1}{c}\right)}$$
    采用回溯直线搜索时$$c=\left(1-\min \left\{2m\alpha ,\frac{2\beta \alpha m}{M}\right\}\right)$$
    采用精确直线搜索时$$c=1-\frac{m}{M}$$

11. 规范化最速下降方法
    ① 给定初始点 $x^0\in domf\text{，}$令$k=0$
    ② 判断：如果$||\nabla f(x^k)||\le \epsilon$，停止
    ③ $$d_{nsd}^k=\arg \min \left\{\nabla f{\left(x^k\right)}^{T}d\right|s.t.\Vert d\Vert =1\}$$
    ④ 直线搜索：确定$t^k>0$满足
    $$f\left(x^k+t^k{d}^k\right)<f\left(x^k\right)$$
    ⑤ 更新$$x^{k+1}=x^k+t^k{d}^k,kk+1\text{，}$$回②

12. 下降方向 $$d_{nsd}^k=\arg \min \left\{\nabla f{\left(x^k\right)}^{T}d\right|s.t.\Vert d\Vert =1\}$$

13. 非规范化最速下降方法 下降方向 $$d_{nsd}^k=\arg \min \left\{\nabla f{\left(x^k\right)}^{T}d\right|s.t.\Vert d\Vert =1\}$$

14. 最速下降方法收敛性
    $$\{\begin{array}{c}f\left(x^{k+1}\right)\le f\left(x^k\right)-\alpha {\tilde{\gamma }}^{2}min\left\{1,\frac{\beta {\gamma }^2}{M}\right\}{\Vert \nabla f\left(x^k\right)\Vert }_2^2\\ f\left(x\right)-p^{\ast }\le \frac{1}{2m}||\nabla f\left(x\right)|{|}_2^2\end{array}$$
    $$K\le \frac{\log \left(\frac{\left(f\left(x^0\right)-p^{\ast }\right)}{\epsilon }\right)}{\log \left(\frac{1}{c}\right)}\text{，}c=1-2m\alpha {\tilde{\gamma }}^2\min \left\{1,\frac{\beta {\gamma }^2}{M}\right\}<1$$

15. Newton下降方法的三种理解
    ① 二阶近似最优解：$$d_{nt}^k=\underset{v}{\mathrm{argmin}}\hat{f}\left(x^k+v\right)=f\left(x\right)+\nabla f{\left(x\right)}^{\top }v+\frac{1}{2}{v}^{\top }{\nabla }^{2}f\left(x\right)v$$
    ② 线性化最优性条件： $$\nabla f\left(x^k+v\right)\approx \nabla f\left(x^k\right)+{\nabla }^{2}f\left(x^k\right)v=0\Rightarrow v=d_{nt}^k$$
    ③ Hessian范数下的最速下降方向： $$d_{nt}^k=d_{sd}^k={\Vert \nabla f(x^k)\Vert }_{\ast }\times d_{nsd}^k$$
    = ∥ ∇ f ( x k ) ∥ ∗ × a r g  ⁣  min ⁡ d  ⁣  { ∇ f ( x k ) ⊤ d : ∥ d ∥ ∇ 2 f ( x k ) = 1 } =\left\| \nabla f(x^k) \right\| _*\times \mathrm{arg}\!\:\min_d \!\:\{\nabla f\left( x^k \right) ^{\top}d:\mathrm{ }\left\| d \right\| _{\nabla ^2f\left( x^k \right)}=1\} = ​∇f(xk) ​∗​×argdmin​{∇f(xk)⊤d:∥d∥∇2f(xk)​=1}

16. Newton下降回溯直线搜索算法
    ① 给定初始点 $x^0\in domf\text{，}$误差阈值$\epsilon >0\text{，}$令$k=0$
    ② 计算Newton步径和增量$$d_{nt}^k=-{\nabla }^{2}f{\left(x^k\right)}^{-1}\nabla f\left(x^k\right)\text{；}\lambda {\left(x^k\right)}^2={\left(d_{nt}^k\right)}^{\top }{\nabla }^{2}f{\left(x^k\right)}^{}{d}_{nt}^k$$
    ③ 停止准则：若 $$\frac{1}{2}\lambda (x^k{)}^2\le \epsilon \text{，}$$退出
    ④ 回溯直线搜索：$0<\alpha <0.5,0<\beta <1$，$t^k=1$，当
    $$f\left(x^k+t^k{d}_{nt}^k\right)>f\left(x^k\right)-\alpha t^k\lambda {\left(x^k\right)}^2$$
    $$t^k:=\beta t^k$$
    ⑤ $$x^{k+1}=x^k+t^k{d}_{nt}^k\text{，}k=k+1\text{，}$$回②

17. Newton步径 $$d_{nt}^k=-{\nabla }^{2}f{\left(x^k\right)}^{-1}\nabla f(x^k)$$

18. Newton减量 $$\lambda (x^k{)}^2={\left(d_{nt}^k\right)}^{\top }{\nabla }^{2}f{\left(x^k\right)}^{}{d}_{nt}^k$$ $$\lambda \left(x^k\right)={\left(\nabla f{\left(x^k\right)}^{\top }{\nabla }^{2}f{\left(x^k\right)}^{-1}\nabla f\left(x^k\right)\right)}^{\frac{1}{2}}$$

19. 停止准则 $$\frac{1}{2}\lambda (x^k{)}^2\le \epsilon$$

20. 收敛性
    ① 阻尼牛顿阶段 小于等于$$\frac{f\left(x^0\right)-p^{\ast }}{\gamma }$$
    ② 二次收敛阶段 不超过$$lo{g}_2\left(lo{g}_2\left(\frac{{ϵ}_0}{ϵ}\right)\right)\approx 6$$

21. 最大迭代次数 K ≥ 6 + M 2 L 2 m 5 α β min ⁡  ⁣  { 1 , 9 ( 1 − 2 α ) 2 } ( f ( x 0 ) − p ∗ ) K\ge \mathrm{ }6+\frac{M^2L\frac{^2}{m^5}}{\alpha \beta \min \!\:\{1,9\left( 1-2\alpha \right) ^2\}}\left( f\left( x^0 \right) -p^* \right) K≥6+αβmin{1,9(1−2α)2}M2Lm52​​(f(x0)−p∗)

第四章 等式约束优化问题

1. 对偶方法（构造对偶函数）
   $$\underset{x}{\min }f\left(x\right)+{\left(v^{\ast }\right)}^{\top }(Ax-b)\nabla f\left(x\right)+A^{\top }{v}^{\ast }=0$$
   $$\underset{v}{\max }-b^{\top }v-f^{\ast }(-A^{\top }v)$$
2. 消除方法（仿射参数集）
   $$\underset{z\in R^{n-p}}{\min }\tilde{f}\left(z\right)=f\left(Fz+\hat{x}\right)$$
   其Newton方向和步径： $$d_x=F{d}_z\text{，}\tilde{\lambda }(x)=\lambda \left(x\right)$$
3. 等式约束Newton方法 $$可行初始点、不可行初始点$$
4. 可行初始点的Newton方法
   ① Newton步径 $$\left[\begin{array}{cc}{\nabla }_{}^{2}f(x)& A^T\\ A& 0\end{array}\right]\left[\begin{array}{c}{d}_x^k\\ w\end{array}\right]=\left[\begin{array}{c}-{\nabla }_{}f(x)\\ 0\end{array}\right]$$
   ② Newton减量 $$\lambda (x^k{)}^2={\left(d_x^k\right)}^{\top }{\nabla }^{2}f{\left(x^k\right)}^{}{d}_x^k$$
5. 牛顿下降回溯直线搜索算法（可行初始点，等式约束）
   ① 初始可行点 $$x^0\in domf,A{x}^0=b,$$误差阈值$$\epsilon >0,k=0$$
   ② 确定牛顿方向和牛顿减少量
   $$\left[\begin{array}{cc}{\nabla }_{}^{2}f\left(x\right)& A^T\\ A& 0\end{array}\right]\left[\begin{array}{c}{d}_x^k\\ w\end{array}\right]=\left[\begin{array}{c}-{\nabla }_{}f\left(x\right)\\ 0\end{array}\right];\lambda {\left(x^k\right)}^2={\left(d_x^k\right)}^{\top }{\nabla }^{2}f{\left(x^k\right)}^{}{d}_x^k$$
   ③ 停止准则：若 $$\frac{1}{2}\lambda (x^k{)}^2\le \epsilon \text{，}$$退出
   ④ 回溯直线搜索：$0<\alpha <0.5,0<\beta <1$，$t^k=1$当
   $$f\left(x^k+t^k{d}_x^k\right)>f\left(x^k\right)-\alpha t^k\lambda {\left(x^k\right)}^2$$
   $$t^k:=\beta t^k$$
   结束
   ⑤ $$x^{k+1}=x^k+t^k{d}_x^k\text{，}k=k+1\text{，}$$回②
6. 不可行初始点的Newton方法
   ① 原对偶残差 $${\Vert r\left(x^k,v^k\right)\Vert }_2={\Vert \left[\begin{array}{c}\nabla f\left(x^k\right)+A^T{v}^k\\ A{x}^k-b\end{array}\right]\Vert }_2$$
   ② 停止准则$A{x}^k=b$且$${\Vert r\left(x^k,v^k\right)\Vert }_2\le ϵ$$
7. 牛顿下降回溯直线搜索算法（不可行初始点）
   ① 初始可行点 $$x^0\in domf,v$$误差阈值$$ϵ>0,k=0$$
   ② 停止准则:$$A{x}^k=b$$且$${\Vert r\left(x^k,v^k\right)\Vert }_2={\Vert \left[\begin{array}{c}\nabla f\left(x^k\right)+A^T{v}^k\\ A{x}^k-b\end{array}\right]\Vert }_2\le ϵ,$$ 时退出，否则
   ③ 确定原对偶牛顿方向$$\left[\begin{array}{cc}{\nabla }^{2}f\left(x^k\right)& A^{\top }\\ A& 0\end{array}\right]\left[\begin{array}{c}{d}_x^k\\ d_v^k\end{array}\right]=-\left[\begin{array}{c}\nabla f\left(x^k\right)+A^{\top }v\\ A{x}^k-b\end{array}\right]$$
   ④ 对原对偶残差${\Vert r\Vert }_2$进行回溯，确定步长$t^k$，其中$0<\alpha <0.5,0<\beta <1$，$t^k=1$，当
   $${\Vert r\left(x^k+t{d}_x^k,v^k+t{d}_v^k\right)\Vert }_2>\left(1-\alpha t\right){\Vert r\left(x^k,v^k\right)\Vert }_2$$
   $$t^k:=\beta t^k$$
   结束
   ⑤ $$x^{k+1}=x^k+t^k{d}_x^k\text{，}{v}^{k+1}=v^k+t^k{d}_v^k\text{，}k=k+1\text{，}$$回③

第五章 等式不等式约束优化问题

1. 近似示性函数$${\hat{I}}_{-}\left(u\right)=-\frac{1}{t}\log (-u)$$ $t$越大，精度越高，函数越接近直角
2. 对数障碍函数 $$\varphi \left(x\right)=-{\sum }_{i=1}^m\log (-f_i(x))$$
3. 对偶间隙$$\frac{m}{t}$$
4. 强弱对偶性关系可得： $$f_0\left(x^{\ast }\left(t\right)\right)-p^{\ast }\le \frac{m}{t}$$
5. 等式不等式凸优化问题的障碍方法：
   给定严格可行初始点 $x\text{，}t=t^0>0,\mu >1,$ $ϵ>0\text{，}$令$k=0$
   ① 中心点步骤：从$x$开始，求解$$x^{\ast }\left(t\right)=argmint{f}_0\left(x\right)+\varphi \left(x\right)s.t.Ax=b$$
   ② 改进：$$x:=x^{\ast }\left(t\right)$$
   ③ 停止准则：若$$\frac{m}{t}\le ϵ\text{，}$$退出，否则
   ④ 增加$t$：$$t=\mu t\text{，}$$回到步骤①
6. 参数的选择
   ①$\mu$较小，每次外部迭代只减少较小的对偶间隙，所需要外部迭代次数较多，但是产生较好的牛顿初始点，内部迭代较少；$\mu$较大，每次外部迭代减少较大的对偶间隙，减少外部迭代次数，但是“过于进取”的改进，可能产生不好的牛顿初始点，内部迭代增多
   ②$t_0$太大导致第一次外部迭代（第一次中心点步骤）所需要的内部迭代次数很多；$t_0$很小导致算法进行额外的外部迭代，而第一次中心点步骤仍然可能需要很多次迭代
7. 中心路径：基于KKT条件的解释
   中心路径中的中心点$x^{\ast }(t)$满足:$$A{x}^{\ast }\left(t\right)=b\text{ ，}{f}_i\left(x^{\ast }\left(t\right)\right)<0$$且存在$v\in {\mathbb{R}}^p$，使得$$t\nabla f_0\left(x^{\ast }\left(t\right)\right)+{\sum }_{i=1}^m\frac{1}{-f_i\left(x^{\ast }\left(t\right)\right)}\nabla f_i\left(x^{\ast }\left(t\right)\right)+A^{\top }v=0$$
8. 修改的KKT方程
   $$Ax=b\text{ ，}{f}_i\left(x\right)\le 0(i=1,2,\cdots ,m)$$
   $$\lambda \ge 0\text{，}-{\lambda }_i{f}_i\left(x\right)=\frac{1}{t}(i=1,2,\cdots ,m)$$
   $$\nabla f_0\left(x\right)+{\sum }_{i=1}^m{\lambda }_i\nabla f_i(x)+A^{\top }v=0$$
9. 互补松弛性的变化 $$-{\lambda }_i{f}_i\left(x\right)=\frac{1}{t}$$
10. 修改的KKT方程的Newton步径和中心点问题的Newton步径的关系
    $$\left[\begin{array}{cc}t{\nabla }_{}^2{f}_0\left(x\right)+{\nabla }_{}^2\varphi \left(x\right)& A^T\\ A& 0\end{array}\right]\left[\begin{array}{c}{d}_x\\ d_v\end{array}\right]=-\left[\begin{array}{c}t{\nabla }_{}{f}_0\left(x\right)+\nabla \varphi (x)\\ 0\end{array}\right]⟺\{\begin{array}{c}tH{d}_x+A^{\top }{d}_v=-tg\\ A{d}_x=0\end{array}$$
    $$\{\begin{array}{c}u=d_x\\ v=\frac{1}{t}{d}_v\end{array}$$
11. 障碍方法求解
    ①初始化步骤：阶段1方法
    确定$x$满足：$$f_i\left(x\right)<0\left(i=1,2,\cdots ,m\right)\text{且}Ax=b$$
    设定$$t=t^0>0,\mu >1,ϵ>0$$
    ②中心点步骤：对数障碍函数的最优解
    从$x$开始，对当前的$t$求解近似等式约束优化问题
    $$x^{\ast }\left(t\right)=argmint{f}_0\left(x\right)+\varphi \left(x\right)s.t.Ax=b$$
    ③停止或迭代：
    若$\frac{m}{t}\le ϵ\text{，}$退出，否则令$$x=x^{\ast }\left(t\right)\text{，}t=\mu t\text{，}$$继续迭代
12. 阶段1方法（三种情况）
    ①$x$在公共域，且满足等式约束条件
    ②$x$在公共域，且不满足等式约束条件
    原问题通常为：
    $$\underset{s,x}{\min }{f}_0\left(x\right)$$
    $$s.t.f_i\left(x\right)\le s(i=1,2,\cdots ,m)$$
    $$Ax=b\text{，}s=0$$
    可以转化为：
    $$\underset{s,x}{\min }{t}^0{f}_0\left(x\right)-{\sum }_{i=1}^{m}log\left(s-f_i(x)\right)$$
    $$s.t.Ax=b，s=0$$
    ③$x$不在公共域
    原问题通常为：
    $$\underset{s,x,z_0,\cdots ,z_m}{\min }{f}_0\left(x+z_0\right)$$
    $$s.t.f_i\left(x+z_i\right)\le s(i=1,2,\cdots ,m)$$
    $$Ax=b,s=0,$$$$z_0=0,\cdots ,z_m=0$$
    可以转化为：
    $$\underset{s,x}{\min }{t}^0{f}_0\left(x+z_0\right)-{\sum }_{i=1}^{m}log\left(s-f_i(x+z_i)\right)$$
    $$s.t.Ax=b,s=0,$$
    $$z_0=0,\cdots ,z_m=0$$
13. 原对偶内点法
    ①代理对偶间隙 $$\eta (x,\lambda )=-f{\left(x\right)}^{\top }\lambda$$
    ②原对偶搜索方向
    $$\left[\begin{array}{ccc}{\nabla }^2{f}_0\left(x\right)+{\sum }_{i=1}^m{\lambda }_i{\nabla }^2{f}_i(x)& Df{\left(x\right)}^{\top }& A^{\top }\\ -diag\left(\lambda \right)Df\left(x\right)& -diag\left(f(x)\right)& 0\\ A& 0& 0\end{array}\right]\left[\begin{array}{c}\Delta x_{pd}\\ \Delta {\lambda }_{pd}\\ \Delta v_{pd}\end{array}\right]=-\left[\begin{array}{c}{r}_{dual}\\ r_{cent}\\ r_{pri}\end{array}\right]=-\left[\begin{array}{c}\nabla f_0\left(x\right)+Df{\left(x\right)}^{\top }\lambda +A^{\top }v\\ -diag\left(\lambda \right)f\left(x\right)-\frac{1}{t}1\\ Ax-b\end{array}\right]$$
    ③停止准则$${\Vert r_{pri}\Vert }_2\le {ϵ}_{feas}\text{，}{\Vert r_{dual}\Vert }_2\le {ϵ}_{feas}\text{， }\eta \left(x,\lambda \right)=-f{\left(x\right)}^{\top }\lambda \le ϵ$$
14. 原对偶内点算法
    ① 初始化步骤：确定$x$满足$$f_i\left(x\right)<0\left(i=1,2,\cdots ,m\right),\lambda >0,\mu >1,{ϵ}_{feas}>0,ϵ>0$$
    ② 重复基本步骤
    I.确定$t$，令$$t=\frac{\mu m}{\eta \left(x,\lambda \right)}=\frac{\mu m}{-f{\left(x\right)}^{\top }\lambda }$$ $$\eta (x,\lambda )=-f{\left(x\right)}^{\top }\lambda$$ 当前代理对偶间隙对应的$t$值
    II.计算原对偶搜索方向$$\Delta {\mathrm{y}}_{\mathrm{pd}}=\left(\Delta {\mathrm{x}}_{\mathrm{pd}},\Delta {\lambda }_{\mathrm{pd}},\Delta {\mathrm{v}}_{\mathrm{pd}}\right)$$
    III.以减少$${\Vert r_t\left(y+s\Delta {\mathrm{y}}_{\mathrm{pd}}\right)\Vert }_2$$为目标进行直线搜索，确定步长$s>0$，令$$y=y+s\Delta {\mathrm{y}}_{\mathrm{pd}}$$
    ③ 停止准则$${\Vert r_{pri}\Vert }_2\le {ϵ}_{feas}\text{，}{\Vert r_{dual}\Vert }_2\le {ϵ}_{feas}\text{， }\eta \left(x,\lambda \right)=-f{\left(x\right)}^{\top }\lambda \le ϵ$$