matlab 马尔可夫过程 实例,一个简单的马尔可夫过程例子

什么是马尔可夫过程(Markov Process)

要说什么是马尔可夫过程，首先必须讲讲什么是随机过程(Stochastic Process)。

設(Ω,,P)為一概率空間，另設集合T為一指標集合。如果對於所有t∈T，均有一隨機變量ξt(ω)定義於概率空間(Ω,,P)，則集合{ξt(ω)|t∈T}為一隨機過程。—Wikipedia

其实简单来说，随机过程就是对一连串随机变量(或事件)变迁或者说动态关系的描述。

马尔可夫过程其实就是随机过程的一种：

A stochastic process st:t∈N is said to be Markov if

prob(st+1|st)=prob(st+1|st)

where

st

is the history up to period

t

and

st

is the realization of the state at period

t

.

换句话说，马尔可夫过程说的就是在随机过程中，明天的状态只取决于今天的状态而和今天之前的状态无关。也就是不管你是怎样达到 st 的，只要你今天的状态是 st, 你明天状态的可能性就决定好了。

我们经常还会看到马尔可夫链。其实马尔可夫链就是状态空间为可数集的马尔可夫过程：

Let st∈S and if S is finite (countable), we call the Markov Process with this countable state space Markov Chain.

转移矩阵(Transition Matrix)

既然当知道 st 时我们就能知道 st+1 发生的概