随机过程:一族随着时间改变而随机变量的分布也改变的随机变量叫做随机过程。
平稳性:随着时间的变化,分布不变,这种随机过程叫做平稳过程。
马尔科夫过程:随机变量的分布仅与T0时刻的分布有关,与T0之前的时刻随机变量的分布无关,叫做马尔科夫过程。
马尔科夫链:马尔科夫过程的时间离散、随机变量取值离散的随机过程叫做马尔科夫链。
马尔科夫链的齐次性:状态转移仅与状态转移时间差有关,而与时间无关,这样的马尔科夫链叫齐次马尔科夫链。
马尔科夫链的遍历性:对于齐次马尔科夫链,如果存在n步转移矩阵每个元素都大于0,那么当m趋近于无穷大的时候,m步转移矩阵趋于一个常量矩阵。遍历性描述的是,对于任意的初始状态,经过足够长时间的转移之后,总是会以一个固定的概率转移到最终状态。
一个非常好的应用是Page Rank算法,是google的最基本的算法。