动态规划与维特比算法

姓名：wagsyang
时间：星期五, 23. 十二月 2016 04:15下午

---

动态规划

对于一个求最短路径问题，比如：

我们可以枚举出每条路径，然后计算最短路径。在这个过程中，有些路径被重复计算，比如，distance（A-B1-C1-D1-E）和distance（A-B1-C1-D2-E），重复计算了distance（A-B1-C1），这样大大增加了运算量。使用动态规划可以避免重复计算。
动态规划的思想是通过将一个问题拆解为子问题，子问题拆解为子子问题，…，最后只计算一次这样子问题，子子问题，…，并把这些计算结果存储起来。当需要计算某个目标问题时，只需要递归地计算这个目标问题拆解的子问题，这些子问题只被计算一次，并保存，避免了重复计算。
比如以上的最短路径问题：

$$\begin{aligned}&J_N(x)=\underset{S_N(x)}{min}\{{d[x,S_N(x)+J_{N-1}[S_N(x)]}\} \\&J_1(x)=d(x,E)\end{aligned}$$
其中， $J_N(x)$表示由状态x到终点E的距离， $S_N(x)$表示状态为x的下一级的选取状态。例如， $J_2(C1)$表示为C级的C1状态到终点E的距离， $S_2(C1)=D1$表示C1状态的下一级选择的状态为D1（原因如下）。
具体地：
N=1（D级）
$$\begin{aligned} J_1(D1)=3\\ J_1(D2)=2\\ J_1(D3)=5\\ 无决策问题 \end{aligned}$$
N=2（C级）
$$\begin{aligned}&J_2(C1)=min\left\{{\begin{aligned} d(C1,D1)+J_1(D1)\\ d(C1,D2)+J_1(D2)\\ d(C1,D3)+J_1(D3) \end{aligned}}\right\}=min\left\{\begin{aligned} 3+1\\2+3\\5+2 \end{aligned}\right\}={4}\\ &\text{决策变量:}S_2(C1)=D1 \end{aligned}$$
$$\begin{aligned}&J_2(C2)=min\left\{{\begin{aligned} d(C2,D1)+J_1(D1)\\ d(C2,D2)+J_1(D2)\\ d(C2,D3)+J_1(D3) \end{aligned}}\right\}=min\left\{\begin{aligned} 3+4\\2+1\\5+2 \end{aligned}\right\}={3}\\ &\text{决策变量:}S_2(C2)=D2 \end{aligned}$$
$$\begin{aligned}&J_2(C3)=min\left\{{\begin{aligned} d(C3,D1)+J_1(D1)\\ d(C3,D2)+J_1(D2)\\ d(C3,D3)+J_1(D3) \end{aligned}}\right\}=min\left\{\begin{aligned} 3+3\\2+6\\5+4 \end{aligned}\right\}={6}\\ &\text{决策变量:}S_2(C3)=D1 \end{aligned}$$
N=3（B级）
$$\begin{aligned}&J_3(B1)=min\left\{{\begin{aligned} d(B1,C1)+J_2(C1)\\ d(B1,C2)+J_2(C2)\\ d(B1,C3)+J_2(C3) \end{aligned}}\right\}=min\left\{\begin{aligned} 2+4\\3+3\\4+6 \end{aligned}\right\}={6}\\ &\text{决策变量:}S_3(B1)=C1/C2 \end{aligned}$$
$$\begin{aligned}&J_3(B2)=min\left\{{\begin{aligned} d(B2,C1)+J_2(C1)\\ d(B2,C2)+J_2(C2)\\ d(B2,C3)+J_2(C3) \end{aligned}}\right\}=min\left\{\begin{aligned} 1+4\\2+3\\3+6 \end{aligned}\right\}={5}\\ &\text{决策变量:}S_3(B2)=C1/C2 \end{aligned}$$
$$\begin{aligned}&J_3(B3)=min\left\{{\begin{aligned} d(B3,C1)+J_2(C1)\\ d(B3,C2)+J_2(C2)\\ d(B3,C3)+J_2(C3) \end{aligned}}\right\}=min\left\{\begin{aligned} 3+4\\4+3\\1+6 \end{aligned}\right\}={7}\\ &\text{决策变量:}S_3(B3)=C1/C2/C3 \end{aligned}$$
N=4（A级）
$$\begin{aligned}&J_4(A)=min\left\{{\begin{aligned} d(A,B1)+J_1(B1)\\ d(A,B2)+J_1(B2)\\ d(A,B3)+J_1(B3) \end{aligned}}\right\}=min\left\{\begin{aligned} 3+6\\5+5\\4+7 \end{aligned}\right\}={9}\\ &\text{决策变量:}S_4(A)=B1 \end{aligned}$$
最短路线为：A-B1-C1-D1-E或A-B1-C2-D2-E
通过以上例子可以很清楚地看到动态规划的思想——逆向递推，求子问题。

---

维特比算法

动态规划用途十分广泛，维特比算法是动态规划在HMM中的应用。因此其思想也还是动态规划。
维特比算法用于解决HMM的预测或者叫解码问题。具体的，已知模型参数$\lambda=(A,B,\pi)$和观测序列$O=(o_1,o_2,...,o_T)$求在该观测序列下的概率$P(I|O)$最大的状态序列$I=(i_1,i_2,...,i_T)$。
对于$P(I|O)$不好解决，我们可以用贝叶斯公式进行变换：

$$P(I|O)=\frac{P(IO)}{P(O)}$$
对于分母P（O）的计算属于HMM的概率计算问题，因此重点在于解决分子项P（IO）。最终问题转化为：
$$\underset{i_1,..,i_T}{max}\{P(i_1,...,i_T|o_1,...,o_T)\}=>\underset{i_1,..,i_T}{max}\{P(i_1,...,i_T,o_1,...,o_T)\}$$
定义两个变量 $\delta_t(i)$和 $\psi_t(i)$分别表示时刻t状态为i的所有单个路径 $(i_1,i_2,...,i_t)$中概率最大值和概率最大值的第t-1个结点。即，
$$\delta_t(i)=\underset{i_1,..,i_{t-1}}{max}\{P(i_t=i,i_{t-1},...,i_{1},o_{t-1},...,o_1)\}$$ 由定义可递推：
$$\begin{aligned}\delta_{t+1}(i)=&\underset{i_1,..,i_{t}}{max}\{P(i_{t+1}=i,i_{t},...,i_{1},o_{t},...,o_1)\}\\=&\underset{1\leq{j}\leq{N}}{max}[\delta_{t}(j)a_{ji}]b_i(o_{t+1}) \end{aligned}$$
维特比算法就是求解时刻T的最大概率，递推的计算前面的概率即子问题，所得出的结果就是最优路径。
此算法与上面动态规划的区别：

目标：最短路径vs最优路径
方法：$\sum$路径之和vs$\prod$概率乘积
着手点：有向图终点最大值vs有向图终点最大值
过程：递推求子问题vs递推求子问题

举个例子：
已知模型参数$\lambda=(A,B,\pi)$，

$$A=\left[\begin{matrix} 0.5 & 0.2 & 0.3\\ 0.3 & 0.5 & 0.2\\ 0.2 & 0.3 & 0.5 \end{matrix}\right] , B=\left[\begin{matrix} 0.5 & 0.5\\ 0.4 & 0.6 \\ 0.7 & 0.3 \end{matrix}\right], \pi=(0.2,0.4,0.4)^T$$
已知观测序列O=（红，白，红），求最优路径( $i_1^*,i_2^*,i_3^*$).
解：
t=1时, $\delta_1(i)=\pi_ib_i(o_1)$, $$\begin{aligned} \delta_1(1)=0.10\\ \delta_1(2)=0.16\\ \delta_1(3)=0.28\\ 无决策变量 \end{aligned}$$

t=2时，

$$\begin{aligned} \begin{aligned}\delta_2(1)=\underset{1\leq{j}\leq{3}}{max}[\delta_{1}(j)a_{j1}]b_1(o_{2})]=\underset{j}{max}\left\{ \begin{aligned} 0.10*0.5\\ 0.16*0.3\\ 0.28*0.2 \end{aligned}\right\}*0.5=0.0280,决策变量\psi_2(1)=3\end{aligned}\\ \begin{aligned}\delta_2(2)=\underset{1\leq{j}\leq{3}}{max}[\delta_{1}(j)a_{j2}]b_2(o_{2})]=\underset{j}{max}\left\{ \begin{aligned} 0.10*0.2\\ 0.16*0.5\\ 0.28*0.3 \end{aligned}\right\}*0.6=0.0504,决策变量\psi_2(2)=3\end{aligned}\\ \begin{aligned}\delta_2(3)=\underset{1\leq{j}\leq{3}}{max}[\delta_{1}(j)a_{j3}]b_3(o_{2})]=\underset{j}{max}\left\{ \begin{aligned} 0.10*0.3\\ 0.16*0.2\\ 0.28*0.5 \end{aligned}\right\}*0.3=0.0420,决策变量\psi_2(3)=3\end{aligned}\\ \end{aligned}$$
t=3时，
$$\begin{aligned} \begin{aligned}\delta_3(1)=\underset{1\leq{j}\leq{3}}{max}[\delta_{2}(j)a_{j1}]b_1(o_{3})]=\underset{j}{max}\left\{ \begin{aligned} 0.028*0.5\\ 0.0504*0.3\\ 0.042*0.2 \end{aligned}\right\}*0.5=0.07560,决策变量\psi_3(1)=2\end{aligned}\\ \begin{aligned}\delta_3(2)=\underset{1\leq{j}\leq{3}}{max}[\delta_{2}(j)a_{j2}]b_2(o_{3})]=\underset{j}{max}\left\{ \begin{aligned} 0.028*0.2\\ 0.0504*0.5\\ 0.042*0.3 \end{aligned}\right\}*0.4=0.01008,决策变量\psi_3(2)=2\end{aligned}\\ \begin{aligned}\delta_3(3)=\underset{1\leq{j}\leq{3}}{max}[\delta_{2}(j)a_{j3}]b_3(o_{3})]=\underset{j}{max}\left\{ \begin{aligned} 0.028*0.3\\ 0.0504*0.2\\ 0.042*0.5 \end{aligned}\right\}*0.7=0.01470,决策变量\psi_3(3)=3\end{aligned}\\ \end{aligned}$$
$P^*$为最优路径的概率，则
$$P^*=\underset{1\leq{i}\leq{3}}{max}\delta_{3}(i)=0.0147$$
最优路径终点为 $i_3^*=3$,逆向递推得
t=2时， $i_2^*=3$
t=1时， $i_1^*=3$
最终，( $i_1^*,i_2^*,i_3^*$)=（3,3,3）