1 01 背包问题
1.1 题目
有 N 件物品和一个容量为 V 的背包。放入第 i 件物品耗费的费用是 C i 1 ,得到的
价值是 W i 。求解将哪些物品装入背包可使价值总和最大。
1.2 基本思路
这是最基础的背包问题,特点是:每种物品仅有一件,可以选择放或不放(策略)。
用子问题定义状态:即 F[i,v] 表示前 i 件物品恰放入一个容量为 v 的背包可以获得
的最大价值。则其状态转移方程便是:
F[i,v] = max{F[i − 1,v],F[i − 1,v − C i ] + W i }
这个方程非常重要,基本上所有跟背包相关的问题的方程都是由它衍生出来的。所
以有必要将它详细解释一下:“将前 i 件物品放入容量为 v 的背包中”这个子问题,若
只考虑第 i 件物品的策略(放或不放),那么就可以转化为一个只和前 i − 1 件物品相关
的问题。如果不放第 i 件物品,那么问题就转化为“前 i − 1 件物品放入容量为 v 的背
包中”,价值为 F[i − 1,v] ;如果放第 i 件物品,那么问题就转化为“前 i − 1 件物品放
入剩下的容量为 v − C i 的背包中”,此时能获得的最大价值就是 F[i − 1,v − C i ] 再加上
通过放入第 i 件物品获得的价值 W i 。
伪代码如下:
F[0,0..V ] ← 0
for i ← 1 to N
for v ← C i to V
F[i,v] ← max{F[i − 1,v],F[i − 1,v − C i ] + W i }
(由于是伪码,就用缩进代表嵌套关系啦,,,下面的伪码都是。)
1.3 优化空间复杂度(滚动数组实现)
以上方法的时间和空间复杂度均为 O(V N) ,其中时间复杂度应该已经不能再优化
了,但空间复杂度却可以优化到 O(V ) 。
先考虑上面讲的基本思路如何实现,肯定是有一个主循环 i ← 1…N ,每次算出来
二维数组 F[i,0…V ] 的所有值。那么,如果只用一个数组 F[0…V ] ,能不能保证第 i
次循环结束后 F[v] 中表示的就是我们定义的状态 F[i,v] 呢? F[i,v] 是由 F[i − 1,v] 和
F[i − 1,v − C i ] 两个子问题递推而来,能否保证在推 F[i,v] 时(也即在第 i 次主循环中
推 F[v] 时)能够取用 F[i − 1,v] 和 F[i − 1,v − C i ] 的值呢?
事实上,这要求在每次主循环中我们以 v ← V …0 的递减顺序计算 F[v] ,这样才能保证计算 F[v] 时 F[v − C i ] 保存的是状态 F[i − 1,v − C i] 的值。伪代码如下:
F[0..V ]←0
for i ← 1 to N
for v ← V to C i
F[v] ← max{F[v],F[v − C i ] + W i }
其中的 F[v] ← max{F[v],F[v − C i ] + W i } 一句,恰就对应于我们原来的转移方程,因
为现在的 F[v − C i ] 就相当于原来的 F[i − 1,v − C i ] 。如果将 v 的循环顺序从上面的逆
序改成顺序的话,那么则成了 F[i,v] 由 F[i,v − C i ] 推导得到,与本题意不符。
事实上,使用一维数组解 01 背包的程序在后面会被多次用到,所以这里抽象出一
个处理一件 01 背包中的物品过程,以后的代码中直接调用不加说明。
def ZeroOnePack(F,C,W)
for v ← V to C
F[v] ← max(F[v],F[v − C] + W)
有了这个过程以后, 01 背包问题的伪代码就可以这样写:
F[0..V ]←0
for i ← 1 to N
ZeroOnePack(F,C i ,W i )
1.4 初始化的细节问题
我们看到的求最优解的背包问题题目中,事实上有两种不太相同的问法。有的题目
要求“恰好装满背包”时的最优解,有的题目则并没有要求必须把背包装满。一种区别
这两种问法的实现方法是在初始化的时候有所不同。
如果是第一种问法,要求恰好装满背包,那么在初始化时除了 F[0] 为 0 ,其它
F[1…V ] 均设为 −∞ ,这样就可以保证最终得到的 F[V ] 是一种恰好装满背包的最优解。
如果并没有要求必须把背包装满,而是只希望价格尽量大,初始化时应该将 F[0…V ]
全部设为 0 。
这是为什么呢?可以这样理解:初始化的 F 数组事实上就是在没有任何物品可以放
入背包时的合法状态。如果要求背包恰好装满,那么此时只有容量为 0 的背包可以在什
么也不装且价值为 0 的情况下被“恰好装满”,其它容量的背包均没有合法的解,属于
未定义的状态,应该被赋值为 -∞ 了。如果背包并非必须被装满,那么任何容量的背包
都有一个合法解“什么都不装”,这个解的价值为 0 ,所以初始时状态的值也就全部为 0
了。
这个小技巧完全可以推广到其它类型的背包问题,后面不再对进行状态转移之前的
初始化进行讲解。
1.5 一个常数优化
上面伪代码中的
for i ← 1 to N
for v ← V to C i
中第二重循环的下限可以改进。它可以被优化为
上面的公式应该是
m
a
x
(
V
−
∑
k
=
i
N
C
i
,
C
i
)
max(V-\sum ^{N}_{k=i}C_{i},Ci)
max(V−k=i∑NCi,Ci)
上面的对Wi的求和是不对的,
第二重循环的下限为 :
max(总的背包容量V-第i件物品之后剩下物品的容量之和,Ci);
1.6 小结
01 背包问题是最基本的背包问题,它包含了背包问题中设计状态、方程的最基本思
想。另外,别的类型的背包问题往往也可以转换成 01 背包问题求解。故一定要仔细体
会上面基本思路的得出方法,状态转移方程的意义,以及空间复杂度怎样被优化。
2 完全背包问题
2.1 题目
有 N 种物品和一个容量为 V 的背包,每种物品都有无限件可用。放入第 i 种物品
的费用是 C i ,价值是 W i 。求解:将哪些物品装入背包,可使这些物品的耗费的费用总
和不超过背包容量,且价值总和最大。
2.2 基本思路
这个问题非常类似于 01 背包问题,所不同的是每种物品有无限件。也就是从每种
物品的角度考虑,与它相关的策略已并非取或不取两种,而是有取 0 件、取 1 件、取 2
件……直至取 ⌊V /C i ⌋ 件等许多种。
如果仍然按照解 01 背包时的思路,令 F[i,v] 表示前 i 种物品恰放入一个容量为 v
的背包的最大权值。仍然可以按照每种物品不同的策略写出状态转移方程,像这样:
F[i,v] = max{F[i − 1,v − kC i ] + kW i | 0 ≤ k*C i ≤ v}
这跟 01 背包问题一样有 O(V N) 个状态需要求解,但求解每个状态的时间已经不
是常数了,求解状态 F[i,v] 的时间是
O
(
v
c
i
)
O(\dfrac {v}{c_{i}})
O(civ)
总的复杂度可以认为是
O
(
∑
v
c
i
)
O(\sum \dfrac {v}{c_{i}})
O(∑civ)
是比较大的。
将 01 背包问题的基本思路加以改进,得到了这样一个清晰的方法。这说明 01 背包
问题的方程的确是很重要,可以推及其它类型的背包问题。但我们还是要试图改进这个
复杂度。
2.3 一个简单有效的优化
完全背包问题有一个很简单有效的优化,是这样的:若两件物品 i 、 j 满足 C i ≤ C j
且 W i ≥ W j ,则将可以将物品 j 直接去掉,不用考虑。
这个优化的正确性是显然的:任何情况下都可将价值小费用高的 j 换成物美价廉的
i ,得到的方案至少不会更差。对于随机生成的数据,这个方法往往会大大减少物品的
件数,从而加快速度。然而这个并不能改善最坏情况的复杂度,因为有可能特别设计的
数据可以一件物品也去不掉。
这个优化可以简单的 O(N 2 ) 地实现,一般都可以承受。另外,针对背包问题而言,
比较不错的一种方法是:首先将费用大于 V 的物品去掉,然后使用类似计数排序的做
法,计算出费用相同的物品中价值最高的是哪个,可以 O(V + N) 地完成这个优化。这
个不太重要的过程就不给出伪代码了,
2.6 小结
完全背包问题也是一个相当基础的背包问题,它有两个状态转移方程。希望读者能
够对这两个状态转移方程都仔细地体会,不仅记住,也要弄明白它们是怎么得出来的,
最好能够自己想一种得到这些方程的方法。
事实上,对每一道动态规划题目都思考其方程的意义以及如何得来,是加深对动态
规划的理解、提高动态规划功力的好方法。
3 多重背包问题
3.1 题目
有 N 种物品和一个容量为 V 的背包。第 i 种物品最多有 M i 件可用,每件耗费的
空间是 C i ,价值是 W i 。求解将哪些物品装入背包可使这些物品的耗费的空间总和不超
过背包容量,且价值总和最大。
3.2 基本算法
这题目和完全背包问题很类似。基本的方程只需将完全背包问题的方程略微一改
即可。
因为对于第 i 种物品有 M i + 1 种策略:取 0 件,取 1 件……取 M i 件。令 F[i,v]
表示前 i 种物品恰放入一个容量为 v 的背包的最大价值,则有状态转移方程:
F[i , v] = max{F[i − 1,v − k ∗ C i ] + k ∗ W i | 0 ≤ k ≤ M i }
复杂度是 O(V ΣM i ) 。
3.5 小结
在这一讲中,我们看到了将一个算法的复杂度由 O(V ΣM i ) 改进到 O(V ΣlogM i ) 的
过程,还知道了存在复杂度为 O(V N) 的算法。
希望你特别注意“拆分物品”的思想和方法,自己证明一下它的正确性,并将完整
的程序代码写出来。
4 混合三种背包问题
4.1 问题
如果将前面 1 、 2 、 3 中的三种背包问题混合起来。也就是说,有的物品只可以取一
次( 01 背包),有的物品可以取无限次(完全背包),有的物品可以取的次数有一个上限
(多重背包)。应该怎么求解呢?
4.2 01 背包与完全背包的混合
考虑到 01 背包和完全背包中给出的伪代码只有一处不同,故如果只有两类物品:
一类物品只能取一次,另一类物品可以取无限次,那么只需在对每个物品应用转移方程
时,根据物品的类别选用顺序或逆序的循环即可,复杂度是 O(V N) 。伪代码如下:
for i ← 1 to N
if 第 i 件物品属于 01 背包
for v ← V to C i
F[v] ← max(F[v],F[v − C i ] + W i )
else if 第 i 件物品属于完全背包
for v ← C i to V
F[v] ← max(F[v],F[v − C i ] + W i )
4.3 再加上多重背包
如果再加上最多可以取有限次的多重背包式的物品,那么利用单调队列,也可以给
出均摊 O(V N) 的解法。
但如果不考虑单调队列算法的话,用将每个这类物品分成 O(logM i ) 个 01 背包的物
品的方法也已经很优了。
最清晰的写法是调用我们前面给出的三个过程。
for i ← 1 to N
if 第 i 件物品属于 01 背包
ZeroOnePack(F,C i ,W i )
else if 第 i 件物品属于完全背包
CompletePack(F,C i ,W i )
else if 第 i 件物品属于多重背包
MultiplePack(F,C i ,W i ,N i
在最初写出这三个过程的时候,可能完全没有想到它们会在这里混合应用。我想这体现
了编程中抽象的威力。如果你一直就是以这种“抽象出过程”的方式写每一类背包问题
的,也非常清楚它们的实现中细微的不同,那么在遇到混合三种背包问题的题目时,一
定能很快想到上面简洁的解法,不是吗?
4.4 小结
有人说,困难的题目都是由简单的题目叠加而来的。这句话是否公理暂且存之不
论,但它在本讲中已经得到了充分的体现。本来 01 背包、完全背包、多重背包都不是
什么难题,但将它们简单地组合起来以后就得到了这样一道一定能吓倒不少人的题目。
但只要基础扎实,领会三种基本背包问题的思想,就可以做到把困难的题目拆分成简单
的题目来解决。
参考资料: https://github.com/tianyicui/pack
下篇文章再把剩下的几种背包问题补充上,