约束最优化方法 (二) Zoutendijk容许方向法

算法：(Zoutendijk法)

已知目标函数$f(x)$及其梯度$\nabla f(x)$，不等式约束中的矩阵$A$和向量$b$，等式约束中的矩阵$C$和向量$d$，终止限$\epsilon$。

1. 选定初始容许点$x_0$；置$k=0$。
2. 把$A$分解为$A_k^{{}^{\prime }}$和$A_k^{{}^{\prime \prime }}$，相应地把$b$分解为$b_k^{{}^{\prime }}$和$b_k^{{}^{\prime \prime }}$，使得$A_k^{{}^{\prime }}{x}_k=b^{{}^{\prime }}$，$A_k^{{}^{\prime \prime }}{x}_k^{{}^{\prime \prime }}\ge b_k^{{}^{\prime \prime }}$。设$b_k^{{}^{\prime \prime }}$的维数为$\tau$。
3. 求解线性规划问题：
   $$\begin{gathered} mi{n}_p\nabla f(x_k{)}^{T}p \\ s.t.A_k^{{}^{\prime }}p\ge 0 \\ Cp=0 \\ -e\le p\le e \end{gathered}$$
   设其最优解为$p_k$。
4. 若$|\nabla f(x_k{)}^T{p}_k|<\epsilon$，则打印$x_k$，停机；否则，计算$u=A_k^{{}^{\prime \prime }}{x}_k-b_k^{{}^{\prime \prime }}$，$v=A_k^{{}^{\prime \prime }}{p}_k$。
5. 若$p\ge 0$，则作直线搜索$x_{k+1}=1s(x_k，p_k)$；否则，计算
   t ‾ = m i n 1 ≤ i ≤ ε { − u i v i ∣ v i < 0 } \overline{t}=min_{1 \leq i \leq \varepsilon} \{ -\frac{u_{i}}{v_{i}}| v_{i} < 0 \} t=min1≤i≤ε​{−vi​ui​​∣vi​<0}
   并求解：
   $$\begin{gathered} mi{n}_{t}f(x_k+t{p}_k); \\ s.t.0\le t\le \overline{t} \end{gathered}$$
   设其最优解为$t_k$；计算$x_{x+1}=x_k+t_k{p}_k$。
6. 置$k=k+1$，转2。

我的微信公众号名称：小小何先生
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！