多项式时间算法

本文是学习组合优化中设计近似算法时，所用的入门概念，与大家共勉！
主要回答：

• 什么是判定问题
• 问题规模与输入字节的长度定义
• 如何衡量算法的运行时间
• • 多项式时间算法（有效算法）
• • 强多项式时间算法（有效算法）
• • 指数时间算法

计算复杂性理论

给定一个最优化问题，我们需要回答以下问题：

1. 如何界定最优化问题难易程度，并比较两个最优化问题相对难度？
2. 什么是有效算法？怎么定义一个算法比另一个算法好？
   弄清楚以上问题将有助于我们理解“最优化”问题中容易问题和困难问题之阿金的差距，并对不同问题采取不同的算法策略.

复杂性理论只适用于判定问题，而非我们熟悉的最优化问题.

判定问题

按照计算复杂性将问题进行分类，这样才能将问题准确归类。需要以下四个概念：

• 集合$\mathcal{C}$为复杂性理论适用的问题集合；
• 非空子集${\mathcal{C}}_{ϵ}\subseteq \mathcal{C}$为容易问题集合；
• 非空子集${\mathcal{C}}_{\mathcal{H}}\subseteq \mathcal{C}$为难问题集合；
• 关系$P▹Q$表示问题$P$不必问题$Q$难.

判定问题是指回答“是”或“否”的问题.

对最优化问题： z ∗ = { max ⁡ c ⊤ x ∣ x ∈ S } , z^*=\{\max{c^{\top}x|x\in\mathcal{S}}\}, z∗={maxc⊤x∣x∈S},
其对应的判定问题为：对任意给定常数$k$，是否存在$x\in \mathcal{S}$使得$c^{\top }x\ge k?$

例子（装箱问题，The bin-packing problem）
给定若干体积为$C$的箱子，$n$件物品构成集合$S$, 体积分别为 { s 1 , s 2 , ⋯   , s n } \{s_1,s_2,\cdots,s_n\} {s1​,s2​,⋯,sn​},其中$s_i$皆为整数. 目标是希望将物品分配到箱子中使得占用的箱子的数目最小.不失一般性，规定箱子容量为1.

下面写出该问题的整数规划：
实例$I$：给定$n$件物品体积分别为 { s 1 , s 2 , ⋯   , s n } \{s_1,s_2,\cdots,s_n\} {s1​,s2​,⋯,sn​},其中$s_i$皆为整数.
设$I$含有恰好$b_i$个$s_i(1=1,2,\cdots ,m)$，$T_1,T_2,\cdots ,T_N$是单个箱子装入物品的所有可能形式：
{ T 1 , T 2 , ⋯   , T N } : = { ( k 1 , k 2 , ⋯   , k m ) ∈ Z + m ∣ ∑ i = 1 n k i s i ≤ 1 } \{T_1,T_2,\cdots,T_N\}:=\{(k_1,k_2,\cdots,k_m)\in Z^m_{+}|\sum_{i=1}^n k_i s_{i}\leq 1\} {T1​,T2​,⋯,TN​}:={(k1​,k2​,⋯,km​)∈Z+m​∣∑i=1n​ki​si​≤1}.
记 $T_j=(t_{j1},\cdots ,t_{jm})$. 则装箱问题等价于下面的整数规划形式（Eisemann，1957）：
$$\min \sum _{i=1}^N{x}_j$$
s.t. $$\sum _{j=1}^N{t}_{ji}{s}_i\ge b_i,i=1,2,\cdots ,m$$
$$x_j\in Z_{+},j=1,2,\cdots ,N$$
实际上我们要求${\sum }_{j=1}^N{t}_{ji}{s}_i=b_i,$但由于是极小化问题，因此放松这个约束并没有影响.

最优化问题：使用最少的$m$个箱子，将集合$S$划分成$m$个子集合，每个子集物品体积不超过箱子容量1.即用最少的箱子将$n$个物品收纳完.
判定问题：给定常数$K$, 能否将集合$S$划分成$K$个子集，每个物品总体积不超过1.即问给定常数$K$, 能否将$n$建物品装完?

衡量算法有效性及问题难度

首先明确我们感兴趣的是“问题”的难度，而非一个问题的特殊实例的难度.

何为问题？

问题（模型）是指目标函数和约束条件符合某种特殊结构的无穷多个最优化问题实例对应的判定问题的集合.
如何衡量一个问题的难度呢？

• 根据求解问题的实例的平均运行时间来衡量. 平均运行时间的计算需要在问题的数据符合某种概率分布的前提下进行，而且很难分析，因此该方法一般也不适合用于算法复杂性分析.
• 根据该问题中所有实例中最坏情形时的运行时间来衡量. 计算复杂性理论主要是基于最坏情形分析起来的.

算法的运行时间不仅与问题规模（即变量的维数和约束的个数）有关，而且与问题输入数据的字节长度有关.

输入字节的长度：对于一个问题的实例$X$, 它的输入长度$L(X)$是指存储该实例的输入数据所需的二进制序列的长度.
设整数$x$满足$2^n\le x\le 2^{n+1},$则$x$可以由二进制序列 { v 0 , v 1 , ⋯   , v n } \{v_0,v_1,\cdots,v_n\} {v0​,v1​,⋯,vn​}来表示，这里 x = ∑ i = 1 n v i 2 i , v i ∈ { 0 , 1 } . x=\sum_{i=1}^n v_i2^i,\quad v_i\in\{0,1\}. x=i=1∑n​vi​2i,vi​∈{0,1}.
注意$n\le {\log }_{2}x<n+1$. 所以$x\in Z$的 输入长度是${\log }_{2}x+1$. 因不同底的对数是同阶量级，因此就用自然对数$\log x$代替${\log }_{2}x$. 有理数$\alpha =\frac{p}{q}$、整数矩阵$A=(a_{i}j{)}_{m\ast n}$\线性不等式或等式$Ax\le b$、$Ax=b$. 则他们的输入长度分别为
$$\begin{gathered} L(X)=\log |p|+\log |q|;\#p,q \\ L(X)=mn\log |\theta |,\theta =\max |a_{ij}|;\#\max |a_{ij}{|}^{mn} \\ L(X)=mn\log |\theta |+\log |b|\#\max |a_{ij}{|}^{mn}+b \end{gathered}$$
举例（背包问题）
输入数据:$a=(a_1,\cdots ,a_n{)}^{\top },c=(c_1,\cdots ,c_n{)}^{\top },b,$并且满足$a_j\le b,j=1,2,\cdots ,n.$ 因此$x$输入长度为
$$L(X)=\log (n)+(n+1)\log （b）+n\log (\theta ),$$
其中$\theta ={\max }_i{c}_i$.

算法的运行（计算）时间

我们希望计算的衡量方法和具体的计算机无关，因而只考虑算法所需要的基本运算的次数，即加减乘除以及两个数的比较的次数,并且不妨假设每种基本运算的时间相同.

给定问题$P$和求解问题$P$的一个算法$\mathcal{A}$, 算法$\mathcal{A}$,能在有限时间内求解$P$任何实例$X$. 设$g_A(X)$为算法$\mathcal{A}$求解问题$P$的实例$X$所需的基本运算次数，则 f A ( l ) = sup ⁡ { g A ( X ) ∣ L ( X ) = l } f_{A}(l)=\sup\{g_A(X)|L(X)=l\} fA​(l)=sup{gA​(X)∣L(X)=l}定义为算法$A$求解问题$P$的运行时间或计算时间.

通常情况下，不必给出$f_A(l)$的精确表达式，只需要给出一个同阶量的表达式即可.
如果存在常数$\alpha >0,\beta >0,$整数$l^{\prime }>0$, 使得对所有的整数$l\ge l^{\prime },$ 都有$f(l)\le \alpha g(l)+\beta$, 则$f(l)=O(\alpha g(l))$.
注意:$$\sum _{i=0}^p{c}_i{l}^i=O(l^p),$$即可以忽略所有常熟及指数低于$p$的项. 换言之，只需要考虑当$l\to \infty$时的渐进状态，因而常数及指数低的想都可以忽略不计.

多项式时间算法

给定问题$P$及其算法$\mathcal{A}$. 若存在正常数$p$使得$f_A(l)=O(l^p)$, 则称$\mathcal{A}$为问题$P$的多项式时间算法.

强多项式时间算法

如果存在正常数$p$是的算法$A$求解问题 $P$的计算时间为$O(n^p)$,其中$n$为问题的规模， 于输入数据的大小无关， 则称$A$为问题$P$的强多项式时间算法.

指数时间算法

给定问题$P$及其算法$\mathcal{A}$， 若对所有的正常数$p$，都有使得$f_A(l)\ne O(l^p)$, 即存在常数$c_1、c_2>0,d_1,d_2>1$及整数$l^{\prime }>0$, 使得对所有的整数$l\ge l^{\prime }$有
$$c_1{d}_1^l\le c_2{d}_2,$$则称$\mathcal{A}$为问题$P$的指数时间算法.

以上内容参考：
《整数规划》孙小玲、李端著.第6章
《组合最优化：理论与算法》[德] Bernhard Korte Jens Vygen 著，越民义 林诒勋 姚恩瑜 张国川 译第18.2节. Eisemann K.1957.The trim problem.Management Science, 3: 279-284.