游戏升级问题的解法_马尔科夫链与随机游动

游戏升级问题的解法_马尔科夫链与随机游动

好久之前写好，因为没网发不上来，着实可笑。＾＿＾

问题背景：

某款游戏升级到下一个段位需要攒够五颗星，赢一局加一星（非连胜状态），输一局掉一星。连胜加两颗星。假设某位玩家赢一局游戏的概率为p（此处假设p=1/2），任意两局之间的战果互不影响。求该玩家增长一个段位所需玩的局数的期望（不考虑掉段的情况）。

分析

这是一个随机过程问题，类似于经典的赌徒输光，但稍微复杂一些。无论目前拥有几颗星，也无论达到目前状态的过程是什么（非输即赢）。下一个动作要么是赢，要么是输，概率分别为p和1-p。如下图所示，当获胜概率为1/2的时候，状态图如下：

其中每个节点代表一个状态，每个有向边的权重代表转移概率。每个节点的出度为2（0,(1,5),(1,6)除外）。点(i,j)中，i代表状态j的到达属性(i=0代表失败所得，i=1代表获胜所得)。j代表目前所拥有的星数。

0既是初始点，也是状态(x,1)的指向点，所以在这里记作0。

将状态集合{0,(0,1),(1,1),(0,2),(1,2),(0,3),(1,3),(1,4),(1,5),(1,6)}分别记作状态{0,1,2,3,4,5,6,7,8,9}。