12_统计学习方法总结

一、监督学习、分类方法、标注方法

• 监督学习可以认为是学习一个模型，使它能对给定的输入预测相应的输出。监督学习包括分类、标注、回归；

• 分类问题是实例的特征向量到类标记的预测问题；

• 标注问题是从观测序列到标记序列（或状态序列）的预测问题；

• 可以认为分类问题是标注问题的特殊情况。分类问题中可能的预测结果是二类或多类。而标注问题中可能的预测结果是所有的标记序列，其数目是指数级的。

• 感知机、k近邻法、朴素贝叶斯、决策树是简单的分类方法，具有模型直观、方法简单、容易实现等特点；

• 逻辑斯蒂回归与最大熵模型、支持向量机、提升方法是更复杂但更有效地的分类方法，往往分类准确率更高；

• 隐马尔科夫模型、条件随机场是主要的标注方法。通常条件随机场的标注准确率更高。

二、模型

2.1 概率模型与非概率模型

分类问题和标注问题的预测模型都可以认为是表示从输入空间到输出空间的映射。它们可以写成条件概率分布$P(Y|X)$或 决策函数$Y=f(X)$的形式。前者表示给定输入条件下输出的概率模型，后者表示输入到输出的非概率模型。

• 概率模型：朴素贝叶斯、隐马尔科夫模型
• 非概率模型： 感知机、k近邻法、支持向量机、提升方法
• 概率模型and非概率模型：决策树、逻辑斯蒂回归与最大熵模型、条件随机场

2.2 判别模型与生成模型

• 判别模型：直接学习条件概率分布$P(Y|X)$或决策函数$Y=f(X)$的模型。感知机、k近邻法、决策树、逻辑斯蒂回归与最大熵模型、支持向量机、提升方法、条件随机场是判别模型；
• 首先学习联合概率分布$P(X,Y)$，从而求得条件概率分布$P(Y|X)$的模型。朴素贝叶斯、隐马尔科夫模型是生成模型。可以使用非监督学习的方法学习生成模型。例如EM算法。

2.3 模型特点

• 决策树是定义在一般的特征空间上的，可以含有连续变量或离散变量；
• 感知机、支持向量机、k近邻法的特征空间是欧式空间（更一般地，是希尔伯特空间）；
• 提升方法的模型是弱分类器的组合，弱分类器的特征空间就是提升方法模型的特征空间；
• 感知机模型是线性模型。逻辑斯蒂回归与最大熵模型、条件随机场是对数线性模型。k近邻法、决策树、支持向量机（包含核函数）、提升方法使用的是非线性模型。

2.4 部分模型之间的关系

三、十大统计学习方法模型、策略与算法

3.1 感知机

详见感知机。

模型：
$$f(x)=w\cdot x+b$$

策略：损失函数极小化
$$minL(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$

• 误分类点集合为M

算法：随机梯度下降法，$r$为学习率
$$y_i(w\cdot x_i+b)<=0$$
$$w=w+r\times y_i\cdot x_i$$
$$b=b+r\times y_i$$

3.2 KNN

详见KNN。

模型：计算距离

常用距离度量方式： 闵可夫斯基距离 “minkowski”也称作$L_p$距离
$$L_p=[\sum _{i=1}^n|x_i-y_i{|}^p{]}^{1/p}$$

• $p=1$时称为曼哈顿距离 “manhattan”
• $p=2$时称为欧式距离 “euclidean”
• $p=\infty$时称为切比雪夫距离“chebyshev”

策略：如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。
$$y=argma{x}_{c_j}\sum _{x_i\in N_k(x)}I(y_i=C_j)i=1,2,\dots ,N,j=1,2,\dots ,K$$

算法：kd树搜索

3.3 朴素贝叶斯法

详见朴素贝叶斯法。

3.3.1 模型：贝叶斯定理

条件独立假设：用于分类的特征在类确定的条件下都是条件独立的。

$$P(Y=c_k|X=x)=P(Y=c_k)\frac{P(X=x|Y=c_k)}{P(X=x)}=P(Y=c_k)\frac{{\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{P(X=x)}$$
求解$argma{x}_{c_k}P(Y=c_k|X=x)$对于Y取每一个类时$P(X=x)$都是一样。也就是说后续在求解最优化时主要求解$P(Y=c_k)$和${\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)$即可。

3.3.2 策略：对数似然损失

3.3.3 算法：概率计算

• 极大似然估计下：

先验概率：$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\dots ,K$$
特征$j$的类条件概率：第$j$个特征$x^{(j)}$可能取值的集合为 { a j 1 , a j 2 , … , a j S j } \{a_{j1},a_{j2},…,a_{jS_j}\} {aj1​,aj2​,…,ajSj​​}$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)},j=1,2,\dots ,n;l=1,2,\dots ,S_j;k=1,2,\dots ,K$$

• 贝叶斯估计
  $$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$
  $$P(x^{(j)}=a_{j}l|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k,x_i^{(j)}=a_{jl})+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$
  $\lambda =0$时就为极大似然估计。常取$\lambda =1$，这时称为拉普拉斯平滑（Laplace smoothing）。

3.4 决策树

详见决策树。

3.4.1 特征选择：使用某特征对数据集划分之后，各数据子集的纯度要比划分前的数据集D的纯度高（也就是不确定性要比划分前数据集D的不确定性低）。

特征选择的方法：

• 信息增益，ID3采用
• 信息增益比，C4.5采用
• GiniIndex，CART分类采用
• 平方误差最小化准则，CART回归采用

3.4.2 决策树的生成

输入：训练数据集D，特征集A，阈值$\epsilon$

输出：决策树T

• ID3（或ID4.5）决策树生成：计算A中各特征对D的信息增益（或信息增益比），选择信息增益（或信息增益比）最大的特征$A_g$；对$A_g$的每一可能取值$a_i$，依$A_g=a_i$将D分割为若干非空子集$D_i$，将$D_i$中实例数最大的类作为标记，构建子结点，由结点及其子结点构成树T，返回T。

• CART分类树的生成：在所有可能的特征A以及他们所有可能的切分点a中，选择基尼指数最小的特征及其对应的切分点为最优特征和最优切分点。最优特征和最优切分点，从现结点生成两个子结点，将训练数据集依特征分配到两个子结点中去。

上面两种生成方法不同之处在于第一种生成是选出最优的特征，第二种生成是选出最优特征并找出最优切分点。这也是CART决策树相较之的优点所在。

• CART回归树生成

step1：选择最优切分变量j和切分点s，求解：
$$min\sum _{j,s}(mi{n}_{c_1}\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+mi{n}_{c_2}\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2)$$
遍历变量j，对固定的切分变量j扫描切分点s，选择使上式达到最小值的对$(j,s)$。

step2：用选定的对$(j,s)$划分区域并决定相应的输出值：
R 1 ( j , s ) = { x ∣ x ( j ) &lt; = s } , R 2 ( j , s ) = { x ∣ x ( j ) &gt; s } R_1(j,s) = \{x|x^{(j)} &lt;=s\},R_2(j,s) = \{x|x^{(j)} &gt; s\} R1​(j,s)={x∣x(j)<=s},R2​(j,s)={x∣x(j)>s}
$$\widehat{c_1}=ave(y_i|x_i\in R_1(j,s)),\widehat{c_2}=ave(y_i|x_i\in R_2(j,s))$$

3.4.3 决策树的剪枝

• 决策树的生成算法容易构建过于复杂的决策树，产生过拟合。

• 决策树的剪枝：在决策树学习中将已生成的树进行简化的过程称为剪枝(pruning)。具体地，剪枝从已生成的树上裁掉一些子树或叶结点，并将其根结点或父结点作为新的叶结点，从而简化分类树模型.

• 决策树的剪枝往往通过极小化决策树整体的损失函数(loss fimction)或代价函数( cost function)来实现。

ID3（或ID4.5）剪枝方法：

设树T的叶结点个数为|T|, t是树T的叶结点，该叶结点有$N_t$个样本点，其中k类的样本点有$N_{tk}$个，k=1,2,…,K，$H_t(T)$为叶结点t上的经验嫡，$\alpha \ge 0$为参数，则决策树学习的损失函数可以定义为：
$$C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|=-\sum _{t=1}^{|T|}\sum _{k=1}^K{N}_{tk}log\frac{N_{tk}}{N_t}+\alpha |T|$$

3.5 逻辑斯蒂回归和最大熵模型

详见逻辑斯蒂回归和最大熵模型。

3.5.1 逻辑斯蒂回归

模型：
$$z=w\cdot x+b$$
$$y=h_{\theta }(x)=sigmoid(z)=\frac{1}{1+e^{-z}}$$

策略：极大似然估计

似然函数
$$L(\theta )=\prod _{i=1}^N[h_{\theta }(x^{(i)}){]}^{y^{(i)}}[1-h_{\theta }(x^{(i)}){]}^{(1-y^{(i)})}$$
对数损失函数
$$J=-\frac{1}{N}l(\theta )=-\frac{1}{N}\sum _{i=1}^N[y^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]$$

算法：梯度下降
$$dw=\frac{\partial J}{\partial h_{\theta }(x^{(i)})}\frac{\partial h_{\theta }(x^{(i)})}{\partial z}\frac{\partial z}{\partial w}=\frac{1}{N}\sum _{i=1}^N[h_{\theta }(x^{(i)})-y^{(i)}]x^{(i)}$$
$$db=\frac{\partial J}{\partial h_{\theta }(x^{(i)})}\frac{\partial h_{\theta }(x^{(i)})}{\partial z}\frac{\partial z}{\partial b}=\frac{1}{N}\sum _{i=1}^N[h_{\theta }(x^{(i)})-y^{(i)}]$$

$$w=w-\alpha \times dw$$
$$b=b-\alpha \times db$$

3.5.2 最大熵模型

模型：
条件概率分布$P(Y|X)$上的条件熵为：
$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$

策略：选择条件熵最大的模型
$$ma{x}_{P\in \mathbf{C}}H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$
$$s.t.E_P(f_i)=E_{\tilde{P}}(f_i),i=1,2,...,n$$
$$\sum _{y}P(y|x)=1$$

用特征函数$f(x,y)$描述输入$x$和$输出y$之间的某一个事实。其定义是：
$$f(x,y)=\{\begin{array}{ll}1,& x与y满足某一事实\\ 0,& othervalues\end{array}$$
特征函数$f(x,y)$关于经验分布$\tilde{P}(X,Y)$的期望值，用$E_{\tilde{P}}(f)$表示。
$$E_{\tilde{P}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)=\sum _{x,y}\tilde{P}(x)\tilde{P}(y|x)f(x,y)$$
特征函数$f(x,y)$关于模型$P(Y|X)$与经验分布$\tilde{P}(X)$的期望值，用$E_P(f)$表示。
$$E_P(f)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$

算法：

• 通用迭代尺度法（GIS: Generalized Iterative Scaling）。
• 改进的迭代尺度法（IIS: Improved Iterative Scaling）。
• 梯度下降算法
• 拟牛顿法（牛顿法）

最大熵原理：承认已知事物（知识）；对未知事物不做任何假设，没有任何偏见。

两个角度认识未知事物：

• 最大熵模型：对不确定度的无偏分配；
• 最大似然估计：对知识的无偏理解。

3.6 SVM

详见SVM。

模型：分类超平面

策略：核技巧，软间隔最大化
$$\begin{array}{rl}\underset{w,b}{\max }& \frac{\hat{\gamma }}{||w||}\\ s.t.& y_i\left(w{x}_i+b\right)\ge \hat{\gamma },i=1,2,\cdots ,N\end{array}$$
做两点变换，但不影响最优化问题：

• 取$\hat{\gamma }=1$，因为对于任何一个超平面都可以使得其函数间隔为1，只要对w和b做相应的放大和缩小就行，另外取1可以使得计算最简单，当然不能为了简单取0；
• 最大化$\frac{1}{||w||}$和最小化$\frac{1}{2}||w|{|}^2$是等价的。是为了算法求解简单，凸二次优化有成熟的工具，这样一求导数就只有$w$了。

则最优化问题等价为：
$$\begin{array}{rl}\underset{w,b}{\min }& \frac{1}{2}||w|{|}^2\\ s.t.& 1-y_i\left(w{x}_i+b\right)\le 0,i=1,2,\cdots ,N\end{array}$$

线性不可分意味着某些样本点$(x_i,y_i)$不能满足函数间隔大于等于1的约束条件。为了解决这个问题，可以对每个样本点$(x_i,y_i)$引进一个松弛变量${\xi }_i\ge 0$，使函数间隔加上松弛变量大于等于1.这样，约束条件变为：
$$y_i\left(\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b\right)\ge 1-{\xi }_i,i=1,2,\cdots ,N$$
对于每一特异点虽然也让它入伙，但是需要支付额外的代价，即松弛变量${\xi }_i\times 1$，目标函数由原来的$\frac{1}{2}||w|{|}^2$变成：
$$\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^N{\xi }_i$$

算法：序列最小最优算法（SMO）

3.7 提升方法（boosting）

详见提升方法（boosting）。

3.7.1 Adaboost

模型：加法模型，最终的强分类器是若干个弱分类器加权平均而得到的，基学习器类别不定。
$$G(x)=sign(f(x))=sign\left(\sum _{m=1}^M{\alpha }_m{G}_m(x)\right)$$

• $G_m(x)$为第m个弱分类器，$m=1,2,\cdots ,M$
• ${\alpha }_m$为第m个弱分类器的权重系数

策略：极小化加法模型的指数损失。

第$m$轮的强分类器$f_m(x)$在训练数据集$T$上的指数损失函数为：
$$\begin{array}{rl}arg& \min \sum _{i=1}^{N}exp[-y_i{f}_m(x_i)]\\ =& \min \sum _{i=1}^{N}exp[-y_i(f_{m-1}(x_i)+{\alpha }_m{G}_m(x_i))]\\ =& \underset{\alpha ,G}{\min }\sum _{i=1}^N{\bar{w}}_{m,i}exp[-{\alpha }_m{y}_i{G}_m(x_i))]\end{array}$$

• ${\bar{w}}_{m,i}=exp[-y_i{f}_{m-1}(x_i)]$
• 因为${\bar{w}}_{m,i}$既不依赖${\alpha }_m$也不依赖于$G_m(x)$，所以在第$m$轮求最小化时可以当作固定值看待。这也解释了为什么可以使用前向分步算法作为优化求解算法。
• ${\bar{w}}_{m,i}$依赖于$f_{m-1}(x_i)$，随着每一轮迭代而发生变化。

算法：前向分步学习算法，我们的算法是通过一轮轮的弱分类器学习，每一轮选择加权训练数据分类误差率最小的弱分类器，利用前一个弱分类器的结果来更新后一个弱分类器的训练集权重。
$$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$$
$$G_m^{\ast }(x)=arg\underset{G}{\min }\sum _{i=1}^N{\bar{w}}_{m,i}I(y_i̸=G_m(x_i))$$
$${\alpha }_m^{\ast }=\frac{1}{2}ln\frac{1-e_m}{e_m}$$
其中$e_m$：
$$e_m=\frac{{\sum }_{i=1}^N{\bar{w}}_{m,i}I(y_i̸=G_m^{\ast }(x_i))}{{\sum }_{i=1}^N{\bar{w}}_{m,i}}=\sum _{i=1}^N{w}_{m,i}I(y_i̸=G_m^{\ast }(x_i))$$

3.7.2 GBDT（梯度提升树）

模型：加法模型，基学习器为决策树。
$$f_M(x)=f_0(x)+\sum _{m=1}^{M}T(x;{\Theta }_m)$$

策略：损失函数不定，根据不同的损失函数而得到不同的提升树

通过经验风险极小化确定下一棵决策树的参数${\Theta }_m$
$${\hat{\Theta }}_m=arg\underset{{\Theta }_m}{\min }\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+T(x_i;{\Theta }_m))$$

算法：前向分步算法

3.8 GMM与EM算法

详见GMM与EM算法。

3.8.1 模型

$$P(y|\theta )=\sum _{k=1}^K{\alpha }_k\varphi (y|{\theta }_k)$$

• ${\alpha }_k$是系数，${\alpha }_k\ge 0,{\sum }_{k=1}^K=1$；
• $\varphi (y|{\theta }_k)$是高斯分布密度，${\theta }_k=({\mu }_k,{\sigma }_k^2)$
  $$\varphi (y|{\theta }_k)=\frac{1}{\sqrt{2\pi }{\sigma }_k}exp\left(-\frac{(y-{\mu }_k{)}^2}{2{\sigma }_k^2}\right)$$
  称为第k个分模型。

3.8.2 策略：对数似然损失

观测数据$y_j$来自第k个分模型的数据是未知的，$k=1,2,\cdots ,K$，以隐变量${\gamma }_{jk}$表示，其定义如下：
$$\begin{gathered} {\gamma }_{jk}=\{\begin{array}{ll}1,& \text{第j个观测来自第k个分模型}\\ 0,& \text{否则}\end{array} \\ j=1,2,\cdots ,N;k=1,2,\cdots ,K \end{gathered}$$
${\gamma }_{jk}$是0-1随机变量。

完全数据的似然函数：
$$\begin{array}{rl}P(y,\gamma |\theta )& =\prod _{j=1}^{N}P(y_j,{\gamma }_{j1},{\gamma }_{j2},\cdots ,{\gamma }_{jK}|\theta )=\prod _{j=1}^N\prod _{k=1}^K[{\alpha }_k\varphi (y_j|{\theta }_k){]}^{{\gamma }_{jk}}=\prod _{k=1}^K{\alpha }_k^{n_k}\prod _{j=1}^N[\varphi (y_j|{\theta }_k){]}^{{\gamma }_{jk}}\\ & =\prod _{k=1}^K{\alpha }_k^{n_k}\prod _{j=1}^N{\left[\frac{1}{\sqrt{2\pi }{\sigma }_k}exp\left(-\frac{(y-{\mu }_k{)}^2}{2{\sigma }_k^2}\right)\right]}^{{\gamma }_{jk}}\end{array}$$
其中，$n_k={\sum }_{j=1}^N{\gamma }_{jk},{\sum }_{k=1}^K{n}_k=N$。

那么，完全数据的对数似然函数为
$$lnP(y,\gamma |\theta )=\sum _{k=1}^K{n}_{k}ln{\alpha }_k+\sum _{k=1}^K\sum _{j=1}^N{\gamma }_{jk}\left[ln\left(\frac{1}{\sqrt{2\pi }}\right)-ln{\sigma }_k-\frac{1}{2{\sigma }_k^2}(y_j-{\mu }_k{)}^2\right]$$

3.8.3 算法：EM算法

3.8.4 EM算法流程

输入：观测变量数据$Y$，隐变量数据$Z$，联合分布$P(Y,Z|\theta )$，条件分布$P(Z|Y,\theta )$；

输出：模型参数$\theta$。

（1）选择参数的初值${\theta }^{(0)}$，开始迭代；初值可以任意选择，但需注意EM算法对初值是敏感的。

（2）E步：记${\theta }^{(i)}$为第$i$次迭代参数$\theta$的估计值，在第$i+1$次迭代的E步，计算
$$Q(\theta ,{\theta }^{(i)})=\sum _{Z}P(Z|Y,{\theta }^{(i)})lnP(Y,Z|\theta )=E_Z[lnP(Y,Z|\theta )|Y,{\theta }^{(i)}]$$

• 上式的函数$Q(\theta ,{\theta }^{(i)})$是EM算法的核心，称为$Q$函数。
• 需要计算$P(Z|Y,{\theta }^{(i)})$，即在给定观测数据$Y$和当前的参数估计${\theta }^{(i)}$下隐变量数据$Z$的条件概率分布，作为隐变量的现估计值。
• $Q$函数：完全数据的对数似然函数$lnP(Y,Z|\theta )$关于在给定观测数据$Y$和当前参数${\theta }^{(i)}$下对未观测数据$Z$的条件概率分布$P(Z|Y,{\theta }^{(i)})$的期望称为$Q$函数。

（3）M步：求使$Q(\theta ,{\theta }^{(i)})$极大化的$\theta$，确定第$i+1$次迭代的参数的估计值${\theta }^{(i+1)}$
$${\theta }^{(i+1)}=arg\underset{\theta }{\max }Q(\theta ,{\theta }^{(i)})$$

（4）重复第（2）步和第（3）步，直到收敛。给出停止迭代的条件，一般是对较小的正数${ϵ}_1,{ϵ}_2$，若满足
$$||{\theta }^{(i+1)}-{\theta }^{(i)}||<{ϵ}_{1}or||Q({\theta }^{(i+1)},{\theta }^{(i)})-Q({\theta }^{(i)},{\theta }^{(i)})||<{ϵ}_2$$

GMM模型形式与Adaboost算法很像，但是差别挺大的。说下异同点：

• 模型：都是加法模型，Adaboost基学习器不指定，也就是说明也可以使用高斯分布。
• 策略：Adaboost采用的是指数损失函数，而GMM采用的是对数损失函数，根据基学习函数和算法来选择较合适的就行，不是重要的区别项。
• 算法：Adaboost前向分步算法，基学习器数量M是根据终止循环条件确定的，基学习器权重系数${\alpha }_m$之和不指定为1。GMM是采用EM算法，分模型数量K是在学习之前就指定的，分模型权重系数${\alpha }_k$之和指定为1。Adaboost用于监督学习，GMM用于非监督学习，这是两种算法最主要的区别。

3.9 隐马尔科夫模型

详见隐马尔科夫模型。

3.9.1 模型

隐马尔科夫模型（hidden Markov model,HMM）是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。

隐马尔科夫模型由初始状态概率向量$\Pi$、状态转移概率矩阵$A$和观测概率矩阵$B$决定。$\Pi$和$A$决定状态序列，$B$决定观测序列。因此，隐马尔科夫模型$\lambda$可以用三元符号表示，即
$$\lambda =(A,B,\Pi )$$

3.9.2 策略：极大似然估计，对数似然函数

完全数据的对数似然函数是$lnP(O,I|\lambda )$

3.9.3 算法：EM算法

EM算法的E步：极大化$Q$函数$Q(\lambda ,\bar{\lambda })$
$$\begin{array}{rl}arg\underset{\lambda }{\max }Q(\lambda ,\bar{\lambda })& =\sum _{I}P(I|O,\bar{\lambda })lnP(O,I|\lambda )=\sum _I\frac{P(O,I|\bar{\lambda })}{P(O|\hat{\lambda })}lnP(O,I|\lambda )\\ & =arg\underset{\lambda }{\max }\sum _{I}P(O,I|\bar{\lambda })lnP(O,I|\lambda )\end{array}$$

EM算法的M步：极大化$Q$函数$Q(\lambda ,\bar{\lambda })$求模型参数$A,B,\Pi$

3.9.4 预测：维特比算法

维特比算法实际是用动态规划解隐马尔科夫模型预测问题，即用动态规划求概率最大路径，这时一条路径对应着一个状态序列。

根据动态规划原理，最优路径具有这样的特性：如果最优路径在时刻t通过结点$i_t^{\ast }$，那么这一路经从结点$i_t^{\ast }$到终点$i_T^{\ast }$的部分路径，对于从$i_t^{\ast }$到$i_T^{\ast }$的所有可能的部分路径来说，必须是最优的。

3.10 线性链条件随机场

详见线性链条件随机场。

3.10.1 模型：时序数据上的对数线性模型

设有$K_1$个转移特征，$K_2$个状态特征，$K=K_1+K_2$，记
$$f_k(y_{i-1},y_i,x,i)=\{\begin{array}{ll}{t}_k(y_{i-1},y_i,x,i),& k=1,2,\cdots ,K_1\\ s_l(y_i,x,i),& k=K_1+l;l=1,2,\cdots ,K_2\end{array}$$
然后，对转移与状态特征在各个位置$i$求和，记作
$$f_k(y,x)=\sum _{i=1}^n{f}_k(y_{i-1},y_i,x,i),k=1,2,\cdots ,K$$
用$w_k$表示特征$f_k(y,x)$的权值，即
$$w_k=\{\begin{array}{ll}{\lambda }_k,& k=1,2,\cdots ,K_1\\ {\mu }_l,& k=K_1+l;l=1,2,\cdots ,K_2\end{array}$$
于是，条件随机场可表示为

$$P(y|x)=\frac{1}{Z(x)}exp(\sum _{k=1}^K{w}_k{f}_k(y,x))=\frac{1}{Z(x)}exp\left(\sum _{k=1}^K{w}_k\sum _{i=1}^n{f}_k(y_{i-1},y_i,x,i)\right)=\frac{1}{Z(x)}\prod _{i}exp\left(\sum _{k=1}^K{w}_k{f}_k(y_{i-1},y_i,x,i)\right)$$

$$Z(x)=\sum _{y}exp(\sum _{k=1}^K{w}_k{f}_k(y,x))=\sum _{y}exp\left(\sum _{k=1}^K{w}_k\sum _{i=1}^n{f}_k(y_{i-1},y_i,x,i)\right)=\sum _y\prod _{i}exp\left(\sum _{k=1}^K{w}_k{f}_k(y_{i-1},y_i,x,i)\right)$$

3.10.2 策略：极大似然估计，对数似然函数

3.10.3 算法

• 通用迭代尺度法（GIS: Generalized Iterative Scaling）。
• 改进的迭代尺度法（IIS: Improved Iterative Scaling）。
• 梯度下降算法
• 拟牛顿法（牛顿法）

3.10.4 预测：维特比算法

四、十大统计学习方法知识点汇总

方法	适用问题	模型类型	模型	策略	损失函数	算法
感知机	二类分类	判别模型，非概率模型	分离超平面	极小化误分类点到超平面距离	误分类点到超平面距离	随机梯度下降
k近邻法	多类分类，回归	判别模型，非概率模型 \qquad\qquad	特征空间，样本点	Nan	Nan	Nan
朴素贝叶斯法	多类分类	生成模型，概率模型	特征与类别的联合概率分布，条件独立假设	极大似然估计，极大后验概率估计	对数似然损失	概率计算公式，EM算法
决策树	多分类，回归	判别模型，概率and非概率模型	分类树，回归树	正则化的极大似然估计	对数似然损失	特征选择，生成，剪枝
逻辑斯蒂回归与最大熵模型	多类分类	判别模型，概率and非概率模型	特征条件下类别的条件概率分布，对数线性模型	极大似然估计，正则化的极大似然估计	逻辑斯蒂损失	改进的迭代尺度算法，梯度下降，拟牛顿法
支持向量机	二类分类	判别模型，非概率模型	分离超平面，核技巧	极小化正则化合页损失，软间隔最大化	合页损失	序列最小最优化算法(SMO)
提升方法	二类分类	判别模型，非概率模型	弱分类器的线性组合	极小化加法模型的指数损失	指数损失	前向分步加法算法
EM算法	概率模型参数估计	Nan   \,	含隐变量概率模型	极大似然估计，极大后验概率估计	对数似然损失	迭代算法
隐马尔科夫模型	标注	生成模型，概率模型	观测序列与状态序列的联合概率分布模型	极大似然估计，极大后验概率估计	对数似然损失	概率计算公式，EM算法
条件随机场	标注	判别模型，概率and非概率模型	状态序列条件下观测序列的条件概率分布，对数线性模型	极大似然估计，正则化极大似然估计	对数似然损失	改进的迭代尺度算法，梯度下降，拟牛顿法

参考资料：

• 李航 统计学习方法