【机器学习】贝叶斯分类与概率图模型

小白有颗大白梦

于 2023-05-22 15:44:02 发布

阅读量913

点赞数 2

分类专栏：机器学习课堂笔记文章标签：机器学习分类

本文链接：https://blog.csdn.net/weixin_62012485/article/details/130808294

版权

机器学习课堂笔记专栏收录该内容

5 篇文章 1 订阅

订阅专栏

文章目录

第五章贝叶斯分类与概率图模型

第五章贝叶斯分类与概率图模型

5.1、贝叶斯决策与贝叶斯分类

5.1.1、贝叶斯基本原理

用于生成式模型(y取不同值有不同概率)
$p(y|\boldsymbol x)=\dfrac{p(\boldsymbol x,y)}{p(\boldsymbol x)}=\dfrac{p(\boldsymbol x| y)p(y)}{p(\boldsymbol x)}$

5.1.2、朴素贝叶斯分类器（naive bayes）

主要假设：各特征之间相互独立且权重相同

对于上面的表达式，其中的 $\boldsymbol x$ 可表示为： $\boldsymbol x=\left(x_1,x_2,x_3,\ldots,x_n\right)$

由于各个 $x$ 间是独立的，因此上述表达式可写成：
$P(y|x_1,\ldots,x_n)=\dfrac{P(x_1|y)P(x_2|y)...P(x_n|y)P(y)}{P(x_1)P(x_2)...P(x_n)}\\即：P(y|x_1,\ldots,x_n)=\dfrac{P(y)\Pi_{i=1}^nP(x_i|y)}{P(x_1)P(x_2)\ldots P(x_n)}$

当属性是离散型时：类的先验概率可通过训练集中各类样本出现的次数来估计：
$p(x_i|y)=\dfrac{|D_{y,x_i}|}{|D_y|}$
其中 $D_y$ 表示训练集 $D$ 中 $y$ 类样本组成的集合， $D_{y,x_i}$ 是 $D_y$ 在第 $i$ 个属性上取值为 $x_i$ 的样本组成的集合。
当属性是连续型时：可假设变量服从某种概率分布

例如是高斯朴素贝叶斯分类器，则条件概率函数可以写成：
$p(x_i|y)=\frac{1}{\sqrt{2\pi}\sigma_{y,i}}\exp\{-\frac{1}{2\sigma_{y,i}^2}(x_i-\mu_{y,i})^2\}$

$\mu_{y,i}$ ：在类别为𝑦的样本中，特征𝑥_𝑖的均值

$\sigma_{y,i}$ ：在类别为𝑦的样本中，特征𝑥_𝑖的标准差

参考自：

朴素贝叶斯分类器（Naive Bayes Classifiers）_K.Sun的博客-CSDN博客

高斯朴素贝叶斯（Gaussian Naive Bayes）原理与实现——垃圾邮件识别实战 - ISGuXing - 博客园 (cnblogs.com)

栗：

现在在超市我正要买的一个苹果的特征如下：

大小颜色形状好果

大红色圆形？
$P(y|x_1,x_2,x_3)=\dfrac{P(x_1|y)P(x_2|y)P(x_3|y)P(y)}{P(x_1)P(x_2)P(x_3)}$
其中： $p (y = 好果) = 4/10 ， p (y = 一般) = 6/10$ ，
$p(x_1=大|c=好果)=3/4，P(x_2=红色|c=好果)=4/4，p(x_3=圆形|c=好果)=3/4\\ p(x_1=大|c=一般)=3/6，P(x_2=红色|c=一般)=1/6，p(x_3=圆形|c=一般)=2/6$
其实我们只需要比较： $p(y=好果|\mathbf{x})和p(y=一般|\mathbf{x})$ 的大小，而分母 $P(x_1)P(x_2)P(x_3)$ 是一样的，所以可以只算分子。
$p(y=好果|\mathbf{x}) \propto p(y=好果)*p(x_1=大|c=好果)*P(x_2=红色|c=好果)*p(x_3=圆形|c=好果)\\ =4/10 * 3/4 * 4/4 * 3/4 =0.225\\ p(y=一般|\mathbf{x}) \propto 6/10 * 3/6 * 1/6 * 2/6= 0.0167$
所以这个苹果是好果。

参考：朴素贝叶斯分类器：例子解释 (qq.com)

某个样本的属性值并未出现在训练集中，导致尽管要预测的这个苹果看起来很像是好果，但是朴素贝叶斯目标函数的结果仍为0，最终被划分为一般的苹果。这需要拉普拉斯修正朴素贝叶斯分类：拉普拉斯修正。仅做了解

5.1.3、半朴素贝叶斯

朴素贝叶斯分类器的一个重要假定：分类对应的各个属性间是相互独立的，然而在现实应用中，这个往往难以做到，那怎么办呢？

很简单，适当考虑一部分属性间的相互依赖关系，这种放松后的分类称为半朴素贝叶斯分类，其中最常用的策略：假定每个属性仅依赖于其他最多一个属性，称其依赖的这个属性为其超父属性，这种关系称为：独依赖估计（ODE）。因此表达式变为：
$p(y|\mathbf{x})\propto p(y)\prod\limits_{i=1}^d p(x_i|y,par_i)$
其中， $par_i$ 为属性 $x_i$ 依赖的属性，称为 $x_i$ 的父属性。

参考自: 机器学习：半朴素贝叶斯分类器_算法channel的博客-CSDN博客

5.2、有向图与无向图一般概念

概率图分为有向图和无向图两大类。有向图模型也就是贝叶斯网络，图之间的链接有一个特定的方向，使用箭头表示。另一大类是马尔科夫随机场，也被称为无向图模型，这个模型中，链接没有箭头，没有方向性质。有向图对于表达随机变量之间的因果关系很有用，而无向图对于表示随机变量之间的软限制比较有用。为了求解推断问题，通常比较方便的做法是把有向图和无向图都转化为一个不同的表示形式，被称为因子图。

5.2.1、有向图

有向图中的边有明确的由一个节点到另一个节点的方向，也称作贝叶斯网络

一个有向图中所有变量的联合分布为每个节点以其所有父节点为条件的概率分布乘积：
$p(x_1,\ldots,x_K)=\prod\limits_{k=1}^K p(x_k\mid par(x_k))$
与一般化表达 $p(x_1,...,x_K)=p(x_K|x_1,...,x_{K-1})\dots p(x_2|x_1)p(x_1)$ 的区别：

一般表达是由概率原则得到的任何情况都正确的分解表达，其假设所有变量之间都有关系；有向图表达是在某种具体图结构下的表达，其在不同变量之间引入了独立性假设。

例1：

在这里插入图片描述

$p(x_1,...,x_7)=p(x_1)p(x_2)p(x_3)p(x_4|x_1,x_2,x_3)\\ \cdot p(x_5|x_1,x_3)p(x_6|x_4)p(x_7|x_4,x_5)$

例2：（注意初始分布和视频帧的使用）

5.2.2、无向图

无向图中连接节点的边没有方向，也称作马尔可夫随机场(Markov Random Field)

一个团是图中一个全连接的结点子集，团中任意两个结点间都有边相连接。一个最大团是一个不能再增加结点的团，最小的团就是图中一条边连接的两个结点组成的团。

一个无向图总是可以划分为很多个团的集合。同一个团中的结点绝对不满足条件独立性，而不同团之间的结点是可以有条件独立性的。这里我们就用将联合概率密度分解成定义在团上的局部函数的乘积，我们将这个局部函数称为势函数(potential function)。（结合后面图像去噪的例子来看）
$\begin{array}{c}p(\mathbf{x})\propto\prod\limits_{C\in e}\psi_{\mathbf{x}_C}\left(\mathbf{x}_C\right)\\ =\dfrac{1}{Z}\prod\limits_{C\in e}\psi_{\mathbf{x}_C}\left(\mathbf{x}_C\right)\end{array}$
其中 $e$ 是所有最大团的集合，团 $C$ 中的变量集合为 $\mathbf x_C$ ,其中：
$Z=\sum_{\mathbf{x}}\prod\limits_{C\in e}\psi_{\mathbf{x}_C}\left(\mathbf{x}_C\right)$
在实际使用中，我们可以将势函数表示成： $\psi_{C}(\boldsymbol{x}_{C})=\exp\{-E(\boldsymbol{x}_{C})\}$ ,其中的 $E(\boldsymbol{x}_{C})$ 称作能量函数，该指数表达式称为玻尔兹曼分布，这样可以把势函数的积转化成每个最大团能量的和。

《概率图模型：原理与技术》里面讲的更为细致，目前简单理解为用因子的乘积去表示联合概率，而为了使因子数量最少，所以选用最大团。

5.2.3、条件独立性

基本表示：

两个随机变量相互独立(independent) ： $a\perp b$ ，即 $p (a, b) = p (a) p (b)$
两个随机变量条件独立(conditional independent) $a\perp b|c$

$p(a|b,c)=p(a|c)\quad p(b|a,c)=p(b|c)\quad p(a,b|c)=p(a|c)p(b|c)$

有向图条件独立性：D分离方法

有三种结构:

D分离法的使用：

例：

在这里插入图片描述

无向图条件独立性：条件移除方法

① 移除C中所有的节点以及连接到这些节点的边
② 判断是否存在连接A中任一节点和B中任一节点的一条路径，若不存在，则A ⊥B|C成立

，否则，不成立

如果我们考虑两个结点 $x_i$ 和 $x_j$ ，它们不存在链接，那么给定图中的所有其他结点，这两个结点一定是条件独立的。这是因为两个结点之间没有直接的路径，并且所有其他的路径都通过了观测的结点，因此这些路径都是被阻隔的。这个条件独立性可以表示为:
$\ { i , j } ) = p ( x i ∣ x \ { i , j } ) p ( x j ∣ x \ { i , j } ) p\bigl(x_i,x_j\big|\textbf{x}_{\backslash\{i,j\}}\bigr)=p\bigl(x_i\big|\textbf{x}_{\backslash\{i,j\}}\bigr)p\bigl(x_j\big|\textbf{x}_{\backslash\{i,j\}}\bigr)$

5.2.4、图模型推理的概念

在一个图模型中，推理是计算某些节点的边缘分布或以一些节点为条件计算其他节点的后验概率
在很多算法中，推理可以看作是局部信息(local messages)在图中的传播（beliefpropagation）

5.3、马尔可夫随机场

5.3.1、基本概念

位点空间 Site Space ：有限元素集合 $S=\{s_{1},s_{2},\ldots,s_{m}\}$ 表示位点的集合
相空间 Phase Space ：有限元素集合 $\Lambda=\{\lambda_{1},\lambda_{2},\ldots,\lambda_{n}\}$ 表示变量的取值空间
随机场：位点空间 $S$ 中每一个位点从相空间 $\Lambda$ 中取值的随机变量的集合是空间 $S$ 上的一个随机场 : $\mathbf{x}=\{x(s)|s\in S,x(s)\in\Lambda\}$
一个定义在位点集合 $S$ 上的邻域系统(neighborhood system)定义为
$N=\{N_s|s\in S\}$
其中： $N_s=\{s'\in S|d(s,s')\leq\alpha,s'\neq s\}$

邻域系统的两个性质：
- 一个位点不属于自己的邻域，即 $s\notin N_{s}$
- 相邻关系是相互的，即 $s\in N_{s^{\prime}}\Leftrightarrow s^{\prime}\in N_{s}$
马尔科夫随机场：

对一个随机场 $\mathbf{x}=\{x(s)|s\in S,x(s)\in\Lambda\}$ ，若满足：
$\forall s\in S,\quad p(x(s)|\mathbf{x}(S-s))=p(x(s)|\mathbf{x}(N_s))$
则该随机场为关于邻域系统N的马尔可夫随机场
- 含义：一个事件发生的概率只取决于相邻的事件
- 符号： $p^{(s)}(\mathbf{x})\stackrel{\mathrm{def}}{=}p(x(s)|\mathbf{x}(S-s))=p(x(s)|\mathbf{x}(N_{s}))$ 称为位点s的马尔可夫局部特性

吉布斯分布

定义在S上的随机场 $\mathbf x$ 是一个吉布斯随机场，当且仅当 $\mathbf x$ 服从吉布斯分布：
$p(\mathbf{x})=\frac{1}{Z}\mathrm{e}^{-\frac{1}{T}U(\mathbf{x})}$

在马尔科夫随机场中，联合概率密度可以表示为各个变量的条件概率的乘积形式，即每个变量的概率分布仅依赖于其邻居节点的取值，所以马尔科夫随机场的概率密度就可以用一个吉布斯分布来表示

5.3.2、应用

能量函数常见的定义方式：
$U(\mathbf{x})=\sum_{s\in C_1}V_1(\mathbf{x}_s)+\sum_{(s,s')\in C_2}V_2(\mathbf{x}_s,\mathbf{x}_{s'})+\sum_{\{s,s',s''\}\in C_3}V_3(\mathbf{x}_s,\mathbf{x}_{s'},\mathbf{x}_{s''})+\cdots$
一般只写到三元团，后面的不再写

对于图像去噪而言：

要把有噪声的图像尽可能恢复到原始图像，其中噪声图的变量为 $y_i$ ,目标还原图变量为 $x_i$ ,两者的值域为 ${-1,+1\}$ ，分别代表黄色和蓝色，表示成马尔科夫随机场即为：

这个图里有两种类型的图块，每个图块有两个变量。我们用两个变量之间的关系来构建能量函数。

首先对于 $x_i,y_i$ ，我们认为一般情况下他俩是强相关的，即取值相同（正常噪声图像不会太离谱，不会偏差巨大），所以定义一个简单的能量函数: $-\eta x_i y_i(\eta>0)$ ，当两者同色时， $x_iy_i$ 为正，能量函数小，因此势函数就大，概率就大（在玻尔兹曼定义中理解）。

剩余的团块由变量 ${x_i,x_j\}$ 组成，其中 $i, j$ 是相邻像素的下标。与之前一样，我们希望当两个像素符号相同时能量较低，当两个像素符号相反时能量较高，因此选择能量函数 $-\beta x_ix_j(\beta>0)$

由于势函数是最大团块上的一个任意的非负的函数，因此我们可以将势函数与团块的子集上的任意非负函数相乘，或等价的我们可以加上对应的能量。在这个例子中，这使得我们可以为无噪声图像的每个像素 $i$ 加上一个额外的项 $hx_i$ 。这样的项具有将模型进行偏置，使得模型倾向于选择一个特定的符号，而不选择另一个符号的效果。

最终能量函数形式为：
$E(\mathbf{x},\mathbf{y})=h\sum_i x_i-\beta\sum_{\{i,j\}}x_ix_j-\eta\sum_i x_i y_i$
之后进行优化，目的是 $\mathbf{x}^*=\max p(\mathbf{x}|\mathbf{y})=\max \frac{1}{Z}\exp\{-E(\mathbf{x},\mathbf{y})\}$

然后选择不同的参数值，会得到不同的还原结果，

当 $\beta=1.0,\eta =2.1,h=0$ 时还原图像为：

当 $\beta =0$ 时，还原出来效果是噪声图本身，没作用，因为能量函数中只剩下 $\eta x_iy_i$ 会使得 $x_i=y_i$ 。

参考自：【PRML】【模式识别和机器学习】【从零开始的公式推导】8.3马尔可夫随机场

5.4、隐马尔可夫模型

5.4.1、引例

一个人随机挑选盒子摸一个球，然后和另一个人说颜色，从观测者的角度来看问题。

用图模型表示出来，分为：

过程1: 可观测过程，从被选到的盒子中随机抽取彩色球并观察其颜色
过程2: 隐藏过程，随机选择抽取彩色球的盒子

正式定义：

隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列、再由各个状态生成一个观测由此产生可观测随机序列的过程。

隐藏的马尔可夫链随机生成的状态的序列称为状态序列（state sequence)，每个状态生成一个观测，而由此产生的观测的随机序列称为观测序列（observation sequence），序列的每一个位置可以看作是一个时刻。

5.4.2、组成要素

(1) 状态空间 $\mathrm{HMM}$ 的状态空间通常是可数的，元素可表示为 $\ldots$ 。尽管 $\mathrm{HMM}$ 的状态是隐藏的，但在实际应用中都有明确的物理意义。比如，用HMM 模拟上述彩色球抽取实验，每个状态将对应一个包含 $M$ 种颜色球的盒子，共N个盒子。
(2) 输出集/观测集 $Y :$ 元素 $y_i \in Y$ 对应系统的一个物理输出。在彩色球抽取实验中，输出对应抽取到的球的颜色
(3) 状态转移矩阵: $\boldsymbol{P}=\left\{p_{i j}\right\} ， p_{i j}=P(j \mid i)(i, j \in S)$ 表示从状态 $i$ 转移到 $j$ 的概率
(4) 输出概率/观测概率分布矩阵: $\boldsymbol{Q}=\left\{q_{s y}\right\} ， q_{s y}=P(y \mid s)$ 是状态 $s$ 下输出 $y$ 的概率， $\in Y, \quad s \in S$
(5) 初始状态分布: $\pi=\left\{\pi_i\right\} ， i \in S ， \pi_i$ 表示初始状态为 $i$ 的概率
$\begin{array}{l}p(s,y)=p\big(s_1,s_2,\ldots,s_n,y_1,y_2,\ldots,y_n\big)\\ =p(s_1)\prod_{i=1}^{n}p(y_i|s_i)\prod_{i=2}^{n}p(s_i|s_{i-1})=\pi_{s_1}q_{s_1y_1}\prod_{i=2}^{n}p_{s_{i-1}s_i}q_{s_iy_i}\end{array}$

总的来说， $S 和 Y$ 对应 HMM 的模型结构 ,而 $\boldsymbol{\lambda}=(P,\boldsymbol{Q},\boldsymbol{\pi})$ 对应HMM的参数

HMM的全部参数可以表示成一个矩阵的形式:

$\pi$ 叫做初始概率矩阵，是一个N维向量 $\pi_i=p(s_1=s_i)$
P叫做转移概率矩阵，是一个N×N维矩阵， $A_{i j}=P(s_{j}|s_{i})$
Q叫做观测概率矩阵，是一个N×M维矩阵， $A_{i j}=P(y_{j}|s_{i})$

假如说有4个盒子，黑白两种颜色，即N=4,M=2

则初始概率分布为：
$\pi=\left(0.25,0.25,0.25,0.25\right)^{\mathrm{T}}$
状态转移概率分布为：
$P=\left[\begin{array}{cccc}0&1&0&0\\ 0.4&0&0.6&0\\ 0&0.4&0&0.6\\ 0&0&0.5&0.5\end{array}\right]$
观测概率分布为：
$Q=\left[\begin{array}{ccc}0.5&0.5\\ 0.3&0.7\\ 0.6&0.4\\ 0.8&0.2\end{array}\right]$

5.4.3、基本问题

问题1：给定模型参数 $\lambda$ 和观测序列 $\mathbf y=(y_1,y_2,\dots y_n)$ 计算此观测序列出现的概率 $p(\mathbf y|\lambda)$ 。（能否计算出观测到某一特定颜色序列的概率？）
- 直接解决方法：把 $p(y_{1},y_{2},\ldots,y_{n})$ 看做边缘概率密度，在所有可能的状态转移序列 $s_1,s_2,\dots s_n$ 上求和
  $\begin{array}{c}{{p(y_{1},y_{2},\ldots,y_{n})=\sum_{s_{1},\ldots,s_{n}}p(s_{1},s_{2},\ldots,s_{n},y_{1},y_{2},\ldots,y_{n})}}\\ {{=\sum_{s_{1}}\sum_{s_{2}}\ldots\sum_{s_{n}}p(s_{1},s_{2},\ldots,s_{n},y_{1},y_{2},\ldots,y_{n})}}\\ {{=\sum_{s_{1}}\sum_{s_{2}}\ldots\sum_{s_{n}}p(s_{1})\prod_{i=1}^{n}p(y_{i}|s_{i})\prod_{i=2}^{n}p(s_{i}|s_{i-1})}}\end{array}$
  这种方法时间复杂度为: $O(2n|S|^{n})$ 难操作，（|S|为状态空间S的状态数）
- 前向算法：利用递归关系
  
  推导如下：
  $p(y_{1},y_{2},\ldots y_{n})=\sum_{i=1}^{|S|}p(y_{1},y_{2},\ldots,y_{n},s_{n}=i)$
  其中： $p(y_1,y_2,\ldots,y_t,s_t)=p(y_1,y_2,\ldots,y_t|s_t)p(s_t)$ ，此时 $s_t$ 是个变量
  $\begin{array}{l}=p(y_t|s_t)p(y_1,y_2,\ldots,y_{t-1}|s_t)p(s_t)=p(y_t|s_t)p(y_1,y_2,\ldots,y_{t-1},s_t)\\ =p(y_t|s_t)\sum_{s_{t-1}}p(y_1,y_2,\ldots,y_{t-1},s_{t-1},s_{t})\\ \begin{array}{l}=p(y_t|s_t)\sum_{s_{t-1}}p(y_1,y_2,\ldots,y_{t-1},s_t|s_{t-1})p(s_{t-1})\\ =p(y_t|s_t)\sum_{s_{t-1}}p(y_1,y_2,\ldots,y_{t-1}|s_{t-1})p(s_t|s_{t-1})p(s_{t-1})\\ =p(y_t|s_t)\sum_{s_{t-1}}p(y_1,y_2,\ldots,y_{t-1},s_{t-1})p(s_t|s_{t-1})\\ \end{array} \end{array}$
  用更简洁的形式来表示：
  $\begin{array}{l}{a_{t}=p(y_{1},y_{2},\ldots,y_{t},s_{t})}\\ {a_{t}=p(y_{t}|s_{t})\sum_{s_{t-1}}a_{t-1}p(s_{t}|s_{t-1})}\\ \end{array}$
  总流程如下：
  1. 初始化： $a_{1}(i)=\pi_{i}q_{i y_{1}}1\leq i\leq|S|$ 得出S个结果
  2. 递归： $a_t(j)=\left[\sum_{i=1}^{|S|}\alpha_{t-1}(i)p_{ij}\right]q_{jy_t}\,2\leq t\leq n,1\leq j\leq|S|$ ，
    
    对于n个状态的S个状态选择及已知观测值得出结果
  3. $p(y_1,y_2,\ldots,y_n|\lambda)=\sum_{i=1}^{|S|}a_n(i)$
    
    最后一个状态空间累和得出结果
  最终的时间复杂度为每个状态的 $S|^2$ 的计算乘以状态数 $n$ ,即 $O(n|S|^2)$ ，比直接求解大大降低
最后看一个李航书上的例子：
问题二：给定模型参数 $\lambda$ 和观测序列 $\mathbf y=(y_1,y_2,\dots y_n)$ ，如何才能计算出最可能生成观测序列 $\mathbf y$ 的状态序列 $\boldsymbol{s}^{*}=(s_{1},s_{2},...s_{n})$ （给定特定的颜色观测序列，能否计算出最有可能的球被抽取出的盒子序列？）

$p(s_1,s_2,\ldots,s_n|y_1,y_2,\ldots,y_n)=\frac{p(s_1,s_2,\ldots,s_n y_1,y_2,\ldots,y_n)}{p(y_1,y_2,\ldots,y_n)}\\ \Leftrightarrow \ \arg\max p(\mathbf{s}|\mathbf{y},\lambda)=\arg \max p(s_1,s_2,\ldots,s_n,y_1,y_2,\ldots,y_n)\\$
通过条件独立性又有：
$p(s_{1},\ldots,s_{t},s_{t+1},\ldots,s_{n},y_{1},\ldots,y_{t},y_{t+1},\ldots,y_{n})\\ =p(s_{1},\ldots,s_{t},y_{1},\ldots,y_{t})p(s_{t+1},\ldots,s_{n},y_{t+1},\ldots,y_{n}|s_{1},\ldots,s_{t},y_{1},\ldots,y_{t})\\ =p(s_1,\ldots,s_t,y_1,\ldots,y_t)p(s_{t+1},\ldots,s_n,y_{t+1},\ldots,y_n|s_t)$
因此:
$\max\limits_{s_1,s_2,\ldots,s_n}p(s_1,\ldots,s_t,s_{t+1},\ldots,s_n,y_1,\ldots,y_t,y_{t+1},\ldots,y_n)\\ =\max\limits_{s_1,s_{t+1},\ldots,s_n}[p(s_{t+1},\ldots,s_n,y_{t+1},\ldots,y_n|s_t)\times\max\limits_{s_1,s_2,\ldots,s_{t-1}}p(s_1,\ldots,s_{t-1}s_{t},y_1\ldots,\ldots,y_t)]$

注意上式右侧是通过找到 $s_1,s_2,\ldots,s_{t-1}$ 来使概率最大，此时 $s_t$ 仍是变量形式

定义： $\gamma_t\left(i\right)=\max\limits_{s_1,s_2,\ldots,s_{t-1}}p(s_1,\ldots,s_{t-1},s_t=i,y_1,\ldots,y_t)$

得到：
$\begin{array}{c}\max\limits_{s_1,s_2,\ldots,s_n}p(s_1,\ldots,s_t,s_{t+1},\ldots,s_n,y_1,\ldots,y_{t},y_{t+1},\ldots,y_n)\\ \\ =\max\limits_{i} \left \{ \max \limits_{s_{t+1},\ldots,s_n}[p(s_{t+1},\ldots,s_n,y_{t+1},\ldots,y_n|s_t=i)\gamma_t\left(i\right)\right\}\end{array}$

一言以蔽之：对于t时刻状态的每一个取值，找到前面到达它的最优路径和后面他到达终点的最优路径，然后在t时刻的这些状态里取最大，动态规划思想。

在计算 $\gamma_t(i)$ 时可以使用递归：
$\gamma_{t+1}\left(j\right)=\left(\max\limits_{i}\gamma_{t}\left(i\right)p(s_{t+1}=j|s_{t}=i)\right)p(y_{t+1}|s_{t+1}=j)$
归结为维特比算法来计算：

最后再看一个李航书上的例子：

问题3：给定多个观测序列 $\mathbf y_i$ ,我们如何才能找出最优模型参数集 $\lambda$ ,使得对所有的 $\mathbf y_i$ , $p(\mathbf y|\lambda)$ 最大（给定多个观测序列，能否计算出两个盒子之间的转移概率，以及从每一个盒子中观测到特定颜色的概率？）
…………