随机过程(1)__马尔可夫链的基本概念__马尔可夫性质__转移概率矩阵

随机过程(1)__马尔可夫链的基本概念__马尔可夫性质__转移概率矩阵

北美高校就读统计,主要研究数理统计。空闲之时会在博客内会和大家share一些数理统计的基础知识。在这个系列的博客，我将会为大家献上随机过程的主要内容。绝对干货满满。如果有不完善之处，请善意指正，谢谢大家！！！
非商业用途转载请加上原来博主链接，未经博主同意不允许进行商业用途

马尔可夫链的全面解析。

1:首先什么是马尔可夫链？
在Dobrow的书中的定义：it is a process that has no memory(memoryless property). Its furture evolution depends only on the process value & not on how the process reach the state.

简要的概括就是说：它是一个“无记忆”的过程，且该“链”的进化主要是取决于该链上的值，而不是该“链”到达这个状态的过程。

这样讲估计大家都不太明白。

在这里可以用一个公式图解来给大家带来直观的感受。

这样就可以很直观的表达出马尔可夫链的一些直观特性，但大家对条件概率&贝叶斯理论没有一定的基础，那我建议大家最好还是能先好好学习下最基本的概率论基础理论。

All in all，马尔可夫性质主要是说明了在明确“现在”的情况下，“未来”和“过去”是相互独立的。

在这里要给大家举一个例子，以此可以进一步了解Transition matrix到底是什么东西。

Example：老王每天早上都会收到报纸，他读完以后就把报纸放在桌子上。每天下午小王都会有1/3的概率帮老王整理报纸，且会把所有的报纸扔到垃圾桶。但每次读完报纸，老王会看看是不是满五份报纸了，如果读完发现有五份报纸了，老王自己(100%)会把报纸扔到垃圾桶。现在请你考虑晚上桌子上报纸的数量。这是马尔可夫链吗？

首先我们先确定state space{0,1,2,3,4}。（先写这里）

题解：
我们从题目中要明白晚上是不可能有5份报纸的，因为当有五份报纸的时候，老王就会把所有的报纸扔到垃圾桶里面去，再次把$X_k$作为为当前这天的报纸数量。这里有两种可能性，
对$X_{k+1}$：

1. 1/3的机会为0，
2. 2/3的可能等于$X_{k+1}$.。

在这里我们可以以矩阵的形式去表达这个状态，即:

则我们可以定义转移概率矩阵为将事件中，拥有马尔可夫性质的概率，写成矩阵的形式。

当然也可以写成链状形式：如图：

这里我们将介绍完基本的马尔可夫基本性质，接下来一章我们将会介绍马尔可夫的一些主要性质。喜欢的同学可以follow下，给个赞哈哈哈哈。