马尔科夫预测（满足时齐性的）

一、何时使用

！未来的状态只与现在有关，与过去没有关系

！后面的状态是随机的，且是已知有限种结果，求出每种结果的概率

适用赛题：

健康与疾病：预测一个人明年的健康状态（可能与优化模型相结合，例如保险公司追求收益最大化，需要预测投保人的健康状态）

销售与贮存：奢侈品销量比较小，贮存不会很多，销量也是随机的，商家可以根据一周的销量要不要进行进货

等级结构：一个人明年的等级级别也是随机的，无论升降只与当前状态有关，预测下一年的级别变动可以使用该模型（人力资源的分布）

与其他预测模型的区别：
其他模型计算的是数值，

该模型计算的是已知有限结果的概率

二、原理

1.判断时齐性

！！！时齐性：两种状态的转变，只与时间间隔有关，与更早的过去没有关系，也与启始时间无关

判断是否满足时齐性：一般周期性的问题会满足时齐性。由问题本身决定的，需要查文献去判断

（例如销售问题，可以在模型假设中写到，假设销售规律满足时齐性）

2.马尔科夫链构建出来

离散时间

状态空间

状态

马尔科夫链（是一个随机序列）

第n+m天张三处于状态1的概率只与第n 天有关，注意条件概率的表达式

3.求出系统初始时的概率分布行向量

方法：问题内在规律的推导，查文献，根据统计数据计算估计值（一般都是查文献来确定）

4.求一步转移矩阵P

从状态i到状态j概率的估计值为：

pij =  nij / (对所有可能j的求和）

主要用编程进行遍历

5.求n步后的概率分布

P(n) = P(0)*P^n

三、其他

更多的其他性质：非时齐的情况，极限概率分布