利用马尔可夫模型分析游戏装备强化概率问题

一、问题提出

在某一款游戏中，有这么一种装备升级机制：装备以概率 $p(p\ge 0.1)$ 升级，升级需要消耗材料和金币两种东西，如果升级成功，则升级结束；如果升级失败，以 $\frac{p}{2}$ 的概率保留本次数值，但材料和金币全部消耗掉，需要继续通过加材料将概率提升到 $p\ge 0.1$，并消耗金币执行升级功能。其中材料与金币消耗量与概率 $p$ 成线性关系，即提升 $p$ 点概率需要消耗 $p$ 单位的材料；执行概率为 $p$ 的升级需要消耗 $p$ 单位金币。

二、 理论建模

1. 模型建立

首先，分析该强化机制，下一个时刻的状态（是否强化）只取决于当前状态（当前是否强化成功），故该过程是一个马尔可夫模型，用 $0$ 表示当前失败状态，$1$ 表示当前成功状态，$p$ 为强化成功概率，$q=1-p$ 为失败概率，可以获得该马尔可夫过程的状态转移矩阵为
$$P_{ij}(m)=\begin{array}{c}\begin{array}{cc}0& 1\end{array}\\ \begin{array}{c}0\\ 1\end{array}\left[\begin{array}{cc}q& p\\ 0& 1\end{array}\right]\end{array}$$
上述表示在 $m$ 时刻从状态 $i$ 到 状态 $j$ 的一步转移概率矩阵，先假设后续每一次升级概率与当前升级概率相同，即 $p$ 固定（$p$ 变化的情况可能性过多，不易分析），则该过程为一个齐次马尔可夫过程，有
$$P_{ij}(m)=P_{ij}$$
即状态转移矩阵与时刻无关，那么我们就可以得到 $n$ 步以后的转移概率矩阵，有
$$P_{ij}^{(n)}=P_{ij}^n={\left[\begin{array}{ll}q& p\\ 0& 1\end{array}\right]}^n=\left[\begin{array}{cc}{q}^n& p\sum _{i=1}^n{q}^{n-1}\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}{q}^n& p\frac{1-q^n}{1-q}\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}{q}^n& 1-q^n\\ 0& 1\end{array}\right]$$
这样，我们的 $n$ 步转移概率矩阵就算出来，从矩阵中可以看到，随着 $n$ 的增大，累积的失败概率 $q^n$ 会越来越小，而累积成功概率 $1-q^n$ 会越来越大，最终趋于 1，即随着时间推移，我们的升级早晚会成功，但是否真的是这样呢？那我们就要看一下对于任意初始分布，该马尔可夫过程的平稳分布了，根据平稳分布的定义有
$$\pi =\pi P$$
则对于上述一个二维状态转移矩阵有
$$\{\begin{array}{l}\left[\begin{array}{ll}{\pi }_1& {\pi }_2\end{array}\right]=\left[\begin{array}{ll}{\pi }_1& {\pi }_2\end{array}\right]\left[\begin{array}{ll}q& p\\ 0& 1\end{array}\right]\\ {\pi }_1+{\pi }_2=1\end{array}$$
联立上述方程组解得 ${\pi }_1=0，{\pi }_2=1$，即不管我初始概率为多少，只要我坚持一个概率 $p$ 去强化不变，早晚都能成功。

但实际强化时，我们更关注的是如何选择强化概率来使得我们消耗的材料最少，所以很多人觉得有时候一直 $10\%$ 升级不成功，感觉 $10\%$ 强化就是坑，所以会果断采用 $100\%$ 去强化，虽然 $100\%$ 成功，但所消耗的材料是否一定是最少的呢？所以这就需要我们去计算一下在强化概率 $p$ 下材料消耗的期望。因为强化概率 $p$ 是个随机变量，而材料消耗 $c$ 又与 $p$ 相关，故采用期望是最合适不过的啦。

2. 材料消耗期望计算

由于上述状态转移的计算中，已经假设了该过程是一个齐次过程，即每次强化概率 $p$ 不变，那么根据强化机制我们知道两个条件：

• 材料消耗与我们的强化概率是线性的，即每一次强化概率越大，我们消耗的材料就越多，且是线性相关。因此这边假设材料单次消耗与强化概率 $p$ 是正比的，即 $c=p$，在强化概率为 1 时，消耗材料为 1；强化概率为 0.1 时，消耗材料为 0.1，这样的假设并不破坏强化机制的单调性；
• 若当前时刻强化失败，则概率会变成 $\frac{p}{2}$，基于齐次性假设和线性相关性，我们还需要再消耗 $c=\frac{p}{2}$ 的材料使得概率回到 $p$。这边忽略强化概率因为是离散值导致本次强化概率和上一次强化概率 $p_{cur}-p_{pre}$ 所带来的误差，该误差非常小，可以忽略。

上述条件已知，那么我们计算在概率 $p$ 下总的材料消耗 $C_{material}$ 的期望即可，由于初始材料消耗为 $c_0=p$，后续单次材料消耗为 $c_i=\frac{p}{2}$，因此根据期望定义有：
$$\begin{array}{rl}{C}_{material}=E_p(C)& =c_0+\sum _{i=1}^{\infty }{c}_i{P}_{01}^{(i)}=p+\sum _{i=1}^{\infty }\frac{p}{2}{q}^i\\ & =\frac{p}{2}+\sum _{i=0}^{\infty }\frac{p}{2}{q}^i=\frac{p}{2}+\frac{p}{2}\underset{n\to \infty }{\lim }\left(\frac{1-q^n}{1-q}\right)\\ & =\frac{p}{2}+\frac{1}{2}\end{array}$$

这样我们总消耗材料的期望值就算出来了，通过结果可以发现，材料总消耗的期望值与概率线性相关，这就意味着，概率越大，总材料消耗的期望值越大，所以从理论推导来说，每次强化的概率 $p$ 越低，总材料消耗越小。

3.金币消耗期望计算

由于金币消耗与材料消耗类似，都与概率线性相关，不同之处在于：强化失败时，需要消耗 $c_i=\frac{p}{2}$ 的材料来提升概率到 $p$，而此时需要消耗的金币 $c$ 则也是 $p$，因此金币总的消耗期望 $C_{money}$ 为：
$$\begin{array}{rl}{C}_{money}=E_p(C)& =\sum _{i=0}^{\infty }c{P}_{01}^{(i)}=\sum _{i=0}^{\infty }p{q}^i\\ & =p\underset{n\to \infty }{\lim }\left(\frac{1-q^n}{1-q}\right)\\ & =p\frac{1}{1-q}=1\end{array}$$
通过计算，发现金币消耗与材料并不相同，金币消耗的期望并不随概率改变，即对于任意概率 $p$ 强化，金币消耗等价于以 $100\%$ 概率强化时金币的消耗量。

但事实是否真的如此呢，那我们就做一个 Monte Carlo 实验来验证一下我们的结果吧。

三、Monte Carlo实验

对材料与金币消耗量分别进行 Monte Carlo 实验，实验次数设置为 $200k$ 次，这是个人编写的代码：

import random
import numpy as np
import matplotlib.pyplot as plt

iteration = 200000  # monte carlo实验次数

prob = np.arange(0.1, 1.0, 0.01)
cost_material = np.zeros(len(prob))
cost_money = np.zeros(len(prob))

for i in range(iteration):
    for i, p in enumerate(prob):
        cost_material[i] += p/2

        while True:
            cost_material[i] += p/2
            cost_money[i] += p

            if random.random() < p:
                break

cost_material = [c/iteration for c in cost_material]
cost_money = [c/iteration for c in cost_money]

plt.plot(prob, cost_material, label='material')
plt.plot(prob, cost_money, label='money')
plt.legend()
plt.xlabel('probability', fontsize=14)
plt.ylabel('total consumption', fontsize=14)
plt.title('distribution of total material and money consumption with probablity', fontsize=14)
plt.show()

最终运行结果如下：

我们看一下材料消耗和基本消耗随概率的函数分布图：

我们惊讶的发现是实验结果与我们理论推导一致，在 $10\%$ 概率时材料消耗约为 $0.55$，且线性增加，同时金币消耗不随概率变化，始终为1，故上述模型建立成功，实验结果有效。

最终我们得出结论，强化概率越低（最低 $10\%$），材料总消耗的期望越小，同时金币消耗与概率无关，所以 $10\%$ 概率强化理论上是最合适的，当然要是游戏商的概率生成算法不合常理，那我们也没办法了，哈哈哈。