Coursera - Algorithm (Stanford) - 课程笔记 - Week 12

Knapsack Problem

• 问题定义
  • 输入：$n$件物品，每个物品包含两个数据——价值$v_i$，和大小$w_i$，以及目标背包的大小$W$
  • 输出：一个自己 S ⊆ { 1 , 2 , … , n } S \sube \{1, 2, \dots, n\} S⊆{1,2,…,n}，最大化${\sum }_{i\in S}{v}_i$，要求${\sum }_{i\in S}{w}_i\le W$
• 最优子结构
  • 如果$n\notin S$，$S$必然为前$n-1$个物品的最优解
  • 如果$n\in S$，那么$S-n$为$W-w_n$的背包的最优解
  • v i , x = max ⁡ { v i − 1 , x , v i − 1 , x − w i + v i } v_{i, x} = \max \{v_{i-1, x}, v_{i-1, x- w_i} + v_i\} vi,x​=max{vi−1,x​,vi−1,x−wi​​+vi​}
• 实现
  • 二维数组，从左到右不断更新（两重循环）： A [ i , x ] = max ⁡ { A [ i − 1 , x ] , A [ i − 1 , x − w i ] + v i } A[i, x] = \max \{A[i - 1, x], A[i - 1, x - w_i] + v_i\} A[i,x]=max{A[i−1,x],A[i−1,x−wi​]+vi​}
  • 时间复杂度$\theta (nW)$
• 结果重建
  • 最佳价值：$A[n,W]$
  • 结果重建
    • 如果$A[i,x]=A[i-1,x]$，那么此时不包含第$i$个物体，从$A[i-1,x]$继续考察
    • 如果$A[i,x]=A[i-1,x-w_i]+v_i$，那么此时包含第$i$个物体，从$A[i-1,x-w_i]$继续考察

Sequence Alignment

• 问题定义
  • 输入：$X=x_1,\dots ,x_m$，$Y=y_1,\dots ,y_n$，插入空行罚分${\alpha }_{gap}$，匹配罚分${\alpha }_{ab}$
  • 输出：对齐结果，最少罚分
• 最优子结构
  • 考虑当前对齐情形的两个序列的最后一个位置
    • $x_m,y_n$匹配
    • $x_m,\_$匹配
    • $\_,y_n$匹配
  • 令$X^{\prime }=X-x_m$，$Y^{\prime }=Y-y_n$
    • 第一种情形，$X^{\prime }$和$Y^{\prime }$的对齐结果将是最优的
    • 第二种情形，$X^{\prime }$和$Y$的对齐结果将是最优的
    • 第三种情形，$X$和$Y^{\prime }$的对齐结果将是最优的
• 算法实现
  • 记$X_i$表示$X$的前$i$个字符，$Y_j$同理
  • 记$P_{ij}$为和$X_i$与$Y_j$的对齐罚分综合，$P_{ij}=\{\begin{array}{llc}{\alpha }_{x_i{y}_j}& +& P_{i-1,j-i}\\ {\alpha }_{gap}& +& P_{i-1,j}\\ {\alpha }_{gap}& +& P_{i,j-1}\end{array}$
  • 初始化：$A[i,0]=A[0,i]=i\cdot {\alpha }_{gap}$
  • 两重循环，考察两个序列长度
    • A [ i , j ] = min ⁡ { A [ i − 1 , j − 1 ] + α x i , y j , A [ i − 1 , j ] + α g a p , A [ i , j − 1 ] + α g a p } A[i, j] = \min \{A[i - 1, j - 1] + \alpha_{x_i, y_j}, A[i - 1, j] + \alpha_{gap}, A[i, j - 1] + \alpha_{gap}\} A[i,j]=min{A[i−1,j−1]+αxi​,yj​​,A[i−1,j]+αgap​,A[i,j−1]+αgap​}
  • 解重建
    • 向前回溯
    • 类似地，比较三种情形的罚分情形，取最佳，并继续考察对应位置
    • 任意一个序列到头，则直接加入对应数量的gap
  • 时间复杂度$O(m+n)$

Optimal Binary Search Tree

• 问题定义
  • 最佳的二叉搜索树：对于任意一个给定键值分布，搜索时间复杂度保持在最优
  • 在查询概率已知的情形下，平衡二叉树不一定最优，可以比$O(\log n)$更好
  • 给定对应键值的被查询概率分别为$p_i$，键值按编号排大小
  • 最小查询时间$C(T)={\sum }_i{p}_i\cdot dept{h}_i$
• 最优子结构
  • 给定根节点$r$，左子树要保证对 { 1 , … , r − 1 } \{1, \dots, r - 1\} {1,…,r−1}最优，右子树保证对 { r + 1 , … , n } \{r + 1, \dots, n\} {r+1,…,n}最优
  • 子结构性质：$C(T)={\sum }_k{p}_k+C(T_1)+C(T_2)$
  • 计算项目：最优连续区间 { i , i + 1 , … , j − 1 , j } \{i, i + 1, \dots, j - 1, j\} {i,i+1,…,j−1,j}，类似于上述问题丢掉后缀，这里要分别丢掉前缀和后缀
• 算法
  • 记$C_{ij}$为区间 { i , i + 1 , … , j − 1 , j } \{i, i + 1, \dots, j - 1, j\} {i,i+1,…,j−1,j}的加权代价
  • C i j = min ⁡ r { ∑ k p k + C i , r − 1 + C r + 1 , j } C_{ij} = \min_r \{\sum_k p_k + C_{i, r -1} + C_{r + 1, j}\} Cij​=minr​{∑k​pk​+Ci,r−1​+Cr+1,j​}
  • 边界约定：$C_{xy}=0$，如果$x>y$
  • 两重循环（s和i）： A [ i , i + s ] = min ⁡ r { ∑ k p k + A [ i , r − 1 ] + A [ r + 1. i + s ] } A[i, i + s] = \min_r \{\sum_k p_k + A[i, r - 1] + A[r + 1. i + s]\} A[i,i+s]=minr​{∑k​pk​+A[i,r−1]+A[r+1.i+s]}
  • 最优代价：$A[1,n]$
  • 实现过程中实际只计算了一个上三角矩阵
  • 运行时间复杂度：$O(n^3)$（$n^2$个子问题，每个问题的计算是线性时间）