马尔可夫过程和马尔科夫链 + MCMC采样与Gibbs采样 + 马尔科夫随机场和条件随机场描述

0.马尔可夫过程

马尔可夫性质：无后效性或者！

就是说下一刻的状态只和我这一刻的状态有关，和我之前的状态是没有关系的

马尔可夫过程的公式：

马尔可夫过程：

比如，荷花池中一只青蛙的跳跃，液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程、闯迷宫的老鼠等都可视为马尔可夫过程。

1.马尔科夫链

马尔可夫链MC（Markov Chain）是指数学中具有马尔可夫性质的离散事件随机过程。在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。

时间和状态都离散的马尔可夫过程称为马尔可夫链MC。

把图（每个节点代表一个状态）使用状态转移矩阵来表示：

马尔科夫链：

状态转移的计算（注意矩阵的运算即可！）：

 

计算的结果（发现转移7次概率分布就收敛了！）：

在实验了不同的初始化分布的情况下，最终都会达到相同的收敛状态！

发现，收敛的行为和初始化概率分布无关，是由状态转移矩阵P决定的！

总结：

1.马尔科夫链的状态序列不要求有限，可以是无限多个！

2.只要一经收敛，在之后就全部收敛！（稳态分布就是收敛）

马尔科夫链的固定分布叫稳态分布。（当转移状态次数达到足够多时，一定会趋于稳定（一个定值））

好文一生推！http://mp.ofweek.com/ai/a945673920186

ps：采样的所有根本目的都是为了达到马尔科夫链的稳态分布。

2.MCMC的Metropolis-Hastings采样算法

在非周期下的马尔科夫链的细致平稳条件：

意思只要状态序列收敛，那么状态转移过去，和转移回来结果一样！我们只要构造出平稳分布的状态转移矩阵即可！

：在两者的转换过程中没有损失 ！

构造平稳分布的状态转移矩阵：

实际上为了满足细致平稳条件（为了让状态序列平稳分布），使用一个概率因子构造出新的状态转移矩阵与原来的状态序列分布达成平稳！

注意：因子的作用，等价于你以这个概率接收这个转移，等价于构造了引得稳态分布！

实际构造时把这个概率因子来当成接受率来使用，接受转移就计算转移概率，不接受转移就直接更新为前一时刻的转移概率，不断的更新状态序列分布直到收敛！

在实际中为了防止接受率过小而收敛很慢，往往把两边的接受率同比例放大，一个为1一个小于1即可，收敛结果不变但是速度更快了！

ps：MH采样以马氏链的细致平稳条件为基础，利用对称性构建了一个接受率因子出来达到细致平稳条件。

ps：细致平稳条件就是满足从一个状态转移到另一个一个状态，和转移回去等价没有任何损失。

3.MCMC的Gibbs采样

对于高维的情形，由于接受率的存在MCMC算法的效率不够高，考虑能否找到一个状态转移矩阵使得接受率等于1，来加快算法效率呢？

ps：MH有接受率的算法效率不高，针对此提出了Gibbs采样算法的思想，来加快算法效率。

在二维平面上：

gibbs采用了坐标轮换的思路，固定x轴，y轴不同！

发现，同一轴上的两个点的转移满足细致平稳条件！（我们的目的就是为了满足这个条件，来使状态序列分布达到稳态）

ps：一维特征天然的满足平稳条件，二维特征只要固定另一个维度那么也满足平稳条件。

构造转态转移概率矩阵：

 

gibbs采样流程：

从二维扩展到高维：

这不就是最适合实际的gibbs Samples嘛！

总结：

1.每步只计算一个维度的变量，而固定其他变量，直到这一轮的状态序列分全部计算完毕，重复多轮直到状态序列收敛！

2.算法：初始化状态序列，对某一维度固定其他维度来进行抽样计算概率，更新分布，

3.原理：就是因为通过这种固定维度的方式，可以使同一维度的状态序列分布达到稳态啊！！！

4.样本独立性：在同一条链上，其实不会独立的，因为当前的采样结果是跟前面采样是有关系的，要保持独立可以采用多条马尔科夫链，来保证独立性！

4.变分

通过简单的分布，去不断逼近需要推断的复杂分布！

通过jensen不等式，将下界函数变为KL散度的形式，每步只需要减少散度的值即可！

算法：通过观测序列，计算KL距离，更新p与q使他们相互拟合

ps：类似于GAN网路，也是一个博弈学习的过程。

ps：一个是KL散度加持，一个是神经网络加持。

5.条件随机场和马尔科夫随机场

以下是马尔可夫网络！以上是马尔科夫链（HMM的马尔可夫序列链 和 一般情况的马尔可夫非序列链）

隐马尔科夫模型（有向图构成）和马尔科夫随机场（无向图构成）都是生成式模型！

而条件随机场是判别式模型（无向图构成）！

ps：马尔科夫随机场和条件随机场都是无向图模型。

ps：把有向图模型变为无向图模型可以简化问题。

你看，就是因为有向图的条件依赖很复杂，才会使用无向图这种数据结构来处理！

 

团和极大团：

团就是任何两个节点直接有直接相连的边，极大团就是不能再加入一个节点否则不会成为团！

 

（MRF）无向图联合概率分布的写法（使用了极大团和因子分解的思路，定义为一个势函数）：

因子分解：找到所有极大团计算一个势函数！

把（对象：极大团）因子分解用乘积的形式表示为势函数！

 

（MCF是生成式模型是对联合概率建模在求解条件概率，CRF是判别式模型是对条件概率直接建模）

 

链式条件随机场图模型（我们更关注链式的模型）：

 

（CRF）的条件概率分布在线性链上的计算：

为了简化后验概率的表达，做了以下事情：

最终的模型长这样：

CRF 是 MaxEnt 模型（softmax模型！）序列化的推广！！！！！！！！！！

建模过程结束，接下来就是进行参数的优化问题了！

 

类似隐马尔科夫模型：

计算概率：前向后向算法。

学习算法：通过极大似然估计进行建模，进行化简。然后对目标函数进行梯度下降法，或者拟牛顿思路！

预测算法：求条件概率最大的输出序列（对观测序列x进行标注），利用维特比算法！

先进行概率计算，通过学习并且利用概率求解模型参数，通过模型进行标注！

ps：一般把（逻辑回归，最大熵模型，隐马尔科夫模型，马尔科夫随机场，条件随机场一并来说会更完整！）