运筹学基本概念和定理

线性规划问题…定义！

• 一组非负变量

• 满足一定的线性约束

• 使一个线性函数取得极值的问题

• 称为线性规划问题，用$LP$表示

• 模型如下：$$\min S=CX$$ $$s.t.\{\begin{array}{l}AX=b\\ X\ge 0\end{array}$$

不同形式的线性规划模型转化为标准形式

极大化极小

• 求$\max S=CX\iff$ $$\min (-S)=-CX$$

不等式约束化为等式约束

• 引入松弛变量$y_i\ge 0$:若$$a_{i1}{x}_1+...+a_{in}{x}_n\le b_i$$ $$a_{i1}{x}_1+...+a_{in}{x}_n+y_i=b_i$$
• 引入剩余变量$y_i\ge 0$:若$$a_{i1}{x}_1+...+a_{in}{x}_n\ge b_i$$ $$a_{i1}{x}_1+...+a_{in}{x}_n-y_i=b_i$$

自由变量化为非负变量

• 若某个变量$x_k$没有非负的要求，则称$x_k$为自由变量
• 令$$x_k=x_k^{\prime }-x_k^{\prime \prime },x_k^{\prime }\ge 0,x_k^{\prime \prime }\ge 0$$
• 再代入原模型中，消去原$x_k$
• 或者直接勇敢消去$x_k$

例题
将$$\max S=x_1+3x_2+4x_3$$ $$s.t.\{\begin{array}{l}{x}_1+2x_2+x_3\le 5\\ 2x_1+3x_2+x_3\ge 6\\ x_2,x_3\ge 0\end{array}$$化为标准形式
解

• 先化为如下形式：$$\min (-S)=-x_1-3x_2-4x_3$$ $$s.t.\{\begin{array}{l}{x}_1+2x_2+x_3+y_1=5\\ 2x_1+3x_2+x_3-y_2=6\\ x_2,x_3,y_1,y_2\ge 0\end{array}\text{\hspace{1em}(1)}$$
• 法①：令$$x_1=x_1^{\prime }-x_1^{\prime \prime },x_1^{\prime },x_1^{\prime \prime }\ge 0$$
  • 代入上式中得$$\min (-S)=-x_1^{\prime }+x_1^{\prime \prime }-3x_2-4x_3$$ $$s.t.\{\begin{array}{l}{x}_1^{\prime }-x_1^{\prime \prime }+2x_2+x_3+y_1=5\\ 2x_1^{\prime }-2x_1^{\prime \prime }+3x_2+x_3-y_2=6\\ x_2,x_3,y_1,y_2\ge 0\end{array}$$
• 法②：在式(1)中，令①×2-②，得$$x_2+x_3+2y_1+y_2=4$$从①中解出$$-x_1=2x_2+x_3+y_1-5$$代入目标函数中，于是就化成了：$$\min (-S)=-x_2-3x_3+y_1-5$$ $$s.t.\{\begin{array}{l}{x}_2+x_3+2y_1+y_2=4\\ x_2,x_3,y_1,y_2\ge 0\end{array}$$

1.2一些基本概念

可行解与最优解

• 若$X$满足s.t.,那么$X$就能称为$LP$的一个可行解了
• 若 再满足$\min S$，那就妥妥的最优解啦
• 可行解组成的集合称为可行域

基，基本解，可行基，基本可行解

• 设矩阵$A$的秩为$m$，不妨假设前m列线性无关，令$$B=(P_1,...,P_m)$$那么这个$B$就是$LP$的一个基
• $A$被划分为$$(B,N)$$ $X$被相应的分为$$(\begin{array}{c}{X}_B\\ X_N\end{array})$$
• $B$的列称为基列，$X_B$的分量，即$x_1,...,x_m$称为基变量
• $$AX=(B,N)(\begin{array}{c}{X}_B\\ X_N\end{array})=B{X}_B+N{X}_N=b$$解出$X_B$:$$X_B=B^{-1}b-B^{-1}N{X}_N$$
• 不妨令$X_N=0$，于是有$$X=(\begin{array}{c}{B}^{-1}b\\ 0\end{array})$$
• 以上$X$是$AX=b$的一个解，称为$LP$的关于基$B$的基本解——为啥叫基本解呢？有点搞混了，在$AX=b$里不是有个基础解系来着吗，那个好像是让$X_N$分别取1来着，让$X_N$都=0解出来的是特解，这里的基本可能是因为这个解太简单了吧，俺瞎猜的
  • 若$B^{-1}b\ge 0$——$B$称为可行基，此时的$X$称为$LP$的关于基$B$的基本可行解
• 基——基本解，可行基——基本可行解
• $X_N=0\Rightarrow 可行基，X_N=0+B^{-1}b\ge 0\Rightarrow 基本可行解$
• 根据B,N，将$C$对应的分成$(C_B,C_N)$，目标函数：$$CX=C_B{X}_B+C_N{X}_N$$ 将$X_B=B^{-1}b-B^{-1}N{X}_N$代入，有$$CX=C_B{B}^{-1}b+(C_N-C_B{B}^{-1}N)X_N$$

最优性判别定理

• 对$LP$的基$B$
• 若$B^{-1}b\ge 0$
• 且$C-C_B{B}^{-1}A\ge 0$
• 那磨，$X^{\ast }=(\begin{array}{c}{X}_B^{\ast }\\ 0\end{array})$是模型的最优解，称为最优基本可行解，基$B$称为最优基
• 为啥叫最优基本可行解呢？这么长，因为满足第一个条件就能 称为基本可行解啦！再加个条件可不就最优了嘛！

证明：

• 
• 对所有的可行解$X$，有$$CX=C_B{B}^{-1}b+(C_N-C_B{B}^{-1}N)X_N\ge C_B{B}^{-1}b$$
• 看看，这$X$还不是最优解？？

退化解

• 基本解中，就是$(B^{-1}b,0{)}^T$里，但凡有一个基变量=0，就称这个解为退化解

一些基本定理

一些设定

• $A——m\times n矩阵，r(A)=m$
• $C——n维行向量$
• $b——n维列向量$
• $X——n维列向量$

引理

• 设$X$是$LP$的一个可行解
• 若X中非零分量对应得到列向量线性无关
• 则$X$是$LP$的一个基本可行解($X=(B^{-1}b,0{)}^T\ge 0$)

证明：

• 记$$A=(P_1,P_2,...,P_n)$$
• 设$X$中有$r$个分量>0
• 不失一般性，不妨设前r个分量>0,已知它们对应的列向量线性无关
• $r\le m$是一定的
  • 当$r=m$时，则$B=(P_1,P_2,...,P_m)$是(LP)可行基，$X$是关于基B的基本可行解？？？为啥呀怎么就让$B^{-1}b\ge 0$了呢
  • 若$r<m$,由于$r(A)=m$，故一定能从后$n-r$个向量里找到$m-r$个列向量，和$P_1,P_2,...,P_r$组成$m$个线性无关的列向量，构成一个基
    • 上面的基对应的变量有r个>0,m-r个=0，故是退化的基本可行解

重要定理及证明

• 对于标准形式线性规划问题
• (1)若存在一个可行解，就一定存在一个基本可行解
• (2)若存在一个最优解，那也一定存在一个最优基本可行解
• 意思就是：如果有一个可行解，即满足s.t.的条件，那么它就暴露了，肯定还能给它化成一个基本可行解$X=(B^{-1}b,0{)}^T\ge 0$
• 而如果最优解都让你找到了，那再努力一下，把它化成最优基本可行解

证明：
(1)

• 若存在一个可行解$X=(x_1,x_2,...,x_n{)}^T$，有$$x_1{P}_1+x_2{P}_2+...+x_n{P}_n=b$$
• 设$X$上有$r$个分量>0,不妨设是前$r$个，于是上式变成$$x_1{P}_1+x_2{P}_2+...+x_r{P}_r=b\text{\hspace{1em}(1)}$$
• 然后就有分情况了：$P_1,P_2,...,P_r$线性相关/无关，无关就直接上引理，$X$直接是基本可行解，下面讨论线性相关的情况：
• 线性相关$\Rightarrow \exists$一组全为0的常数${\delta }_1,...,{\delta }_r$(这里我假定它们中至少有一个>0)，为啥捏，看下面：$${\delta }_1{P}_1+{\delta }_2{P}_2+...+{\delta }_r{P}_r=0\text{\hspace{1em}(2)}$$就算全为负，我提一个负号出去不就有正的了吗！
• $(1)-\epsilon (2)$得$$(x_1-\epsilon {\delta }_1)P_1+(x_2-\epsilon {\delta }_2)P_2+...+(x_r-\epsilon {\delta }_r)P_r=b$$
• 设$\delta =({\delta }_1,...,{\delta }_r,0,...,0{)}^T$，这样是为了构造$X^{\prime }=X-\epsilon \delta$，这也是满足$AX=b$的解哟
• 当$\epsilon$从0慢慢往上加时，对应的各分量有三种情况：
  • ${\delta }_j>0$时，$x_j^{\prime }\downarrow$
  • ${\delta }_j<0$时，$x_j^{\prime }\uparrow$
  • ${\delta }_j=0$时，$x_j^{\prime }$不变
• 由于之前设定至少有一个${\delta }_j>0$，所以至少有一个分量随$\epsilon$的增加而减少
• 现令 ε = min ⁡ { x i δ i ∣ δ i > 0 , i = 1 , . . . , r } \varepsilon=\min\{\frac{x_i}{\delta_i}|\delta_i>0,i=1,...,r\} ε=min{δi​xi​​∣δi​>0,i=1,...,r}这样构造$\epsilon$可以保证至少有一个分量由>0变成=0
• 分析一下用这样的$\epsilon$构造的$X^{\prime }$:
  • 构造完之后的$X^{\prime }$至多只有$r-1$个正的了，而且无论${\delta }_i$是正是负都能保证$$x_i-\epsilon {\delta }_i\ge 0$$ 所以$X^{\prime }$也是可行解了
• 如果此时$X^{\prime }$中的正分量对应的列向量线性无关，那么由引理证毕，如果还有，就给我继续消，直到线性无关

（2）

• 依然只考虑线性无关的
• 除了(1)里的证明，还需要说明一点，就是具有更少正分量的$X^{\prime }$依然是最优解，这样才能说明最后的得到的基本可行解是最优的
• 下面来证明
• 对于$X^{\prime }=X-\epsilon \delta ，$目标函数变成$$CX-\epsilon C\delta$$只需证明$C\delta =0，这样依然有C{X}^{\prime }=CX$是最优解
• 反证：设$C\delta \ne 0$，对于足够小的$\epsilon$，$X-\epsilon \delta$还是可行解，这一点(1)中已经证过了，无论$\epsilon$是正是负都如此
• 所以我就根据$C\delta$的值来选$\epsilon$,$C\delta >0,那就取\epsilon >0,$反之取负
• 这样就能让$C{X}^{\prime }<CX$，与$X$是最优解矛盾了哦
• 所以证明$C\delta =0$
• 其余证明类似(1)
• 这个定理为后续单纯形法埋下了种子，即只有找到了基本可行解，一定能根据它找到一个最优基本可行解

1.3几何理论

凸凸定义

凸组合

• $X_1,X_2,...,X_k$是$R_n$已知的k个点
• 若：对某点$X\in R^n,\exists {\lambda }_1,{\lambda }_2,..,{\lambda }_k\ge 0$使得$$X=\sum _{i=1}^k{\lambda }_i{X}_i,且\sum _{i=1}^k{\lambda }_i=1$$
• 就称$X是X_1,...,X_k$的凸组合

凸集

• 点集$D\subset R^n$
• 对$\forall 两点X_1,X_2\in D$
• 他们的凸组合都在D里
• 就称$D$为凸集
• 也可以这样理解：若一个集合任意两点的连接线段都在集合内，则称这个集合为凸集

凸集的极点

• $X是D内一点$
• 若X不能表示成D内互异两点的凸组合
• 称X是D的极点
• 多面体的顶点，球体表面上的每个点都是极点

等价性定理

• X 是 D = { X ∣ A X = b , X ≥ 0 } X是D=\{X|AX=b,X\ge0\} X是D={X∣AX=b,X≥0}的极点
• $\iff X是下面柿子的基本可行解$ $$\min S=CX$$ $$s.t.\{\begin{array}{l}AX=b\\ X\ge 0\end{array}$$

证明：

• 极点$\Rightarrow$基本可行解
• 设$X$是$D$的一个极点，不妨设$X$的前$k$个分量非零，则有$$x_1{P}_1+...x_k{P}_k=b$$
• 要证$X$是基本可行解，只要证$P_1,...P_k$线性无关！
• 反证：假设它还就相关了，就又存在一组不全为0 的常数${\delta }_1,...,{\delta }_k$使得$${\delta }_1{P}_1+...{\delta }_k{P}_k=0$$
• 依然是令$\delta =({\delta }_1,...,{\delta }_k,0,...,0{)}^T$，有$$A\delta =0$$
• 还是让 ε = min ⁡ { x i ∣ δ i ∣ ∣ δ i > 0 , i = 1 , . . . , r } \varepsilon=\min\{\frac{x_i}{|\delta_i|}|\delta_i>0,i=1,...,r\} ε=min{∣δi​∣xi​​∣δi​>0,i=1,...,r}
• 构造变量$X_1,X_2$满足$$\{\begin{array}{l}{X}_1=X+\epsilon \delta \\ X_2=X-\epsilon \delta \end{array}$$
• 因为$\epsilon$的选取中，分母是绝对值，所以有$X_1,X_2$都$\ge 0,且X_1\ne X_2$
• 由于$A\delta =0\Rightarrow A{X}_1=A{X}_2=b\Rightarrow X_1,X_2\in D$,然后！！这样就有$$X=\frac{1}{2}{X}_1+\frac{1}{2}{X}_2$$与$X$是极点矛盾了
• 故可证得$P_1,...,P_k$线性无关，$X$是基本可行解
• 基本可行解$\Rightarrow$极点
• 设$X=(x_1,...,x_m,0,...,0{)}^T$是基本可行解，就有$$x_1{P}_1+...+x_m{P}_m=b$$也不知道为啥这里定的是$m,是为了区分k$吗，还是表示$A$的秩啊？
• 以上的$P_1,...,P_m$线性无关
• 反证：假设$X$不是D的极点，那么$X$可以表示成D中两个不同点$Y,Z$的线性组合（凸组合）：$$X={\lambda }_{1}Y+{\lambda }_{2}Z$$ $${\lambda }_1+{\lambda }_2=1,且{\lambda }_{1,2}>0$$
• 由于$X,Y,Z\in D$，于是它们都$\ge 0$,那么$Y,Z$就和$X$一样，后$n-m$列是0，即$$Y=(y_1,y_2,...,y_m,0,...,0{)}^T$$ $$Z=(z_1,z_2,...,z_m,0,...,0{)}^T$$
• 于是有$$y_1{P}_1+...+y_m{P}_m=b$$ $$z_1{P}_1+...+z_m{P}_m=b$$这又是为啥啊啊？