Python 遗传算法求解Stackelberg均衡问题（带概率约束）

引言

Stackelberg
Game，即斯塔克伯格博弈，是一个两阶段的完全信息动态博弈，博弈的time是序贯的。主要思想是双方都是根据对方可能的策略来选择自己的策略以保证自己在对方策略下的利益最大化，从而达到纳什均衡。在该博弈模型中，先作出决策的一方被称为leader，在leader之后，剩余的players根据leader的决策进行决策，被称为followers，然后leader再根据followers的决策对自己的决策进行调整，如此往复，直到达到纳什均衡。

以一个Stackelberg均衡问题，带概率约束的例子为例：

这样一个问题应当是在满足第一个问题的条件下，求解第二个问题。解决思路是首先不考虑下层约束求解上层的最优化；然后根据上层的值（x）,求解下层的y使得下层最大化。再上下层不断循环，直到x,y的值收敛。
解决这一类问题需要用到以下算法，简单进行介绍

遗传算法

遗传算法中每一条染色体，对应着遗传算法的一个解决方案，一般我们用适应性函数（fitness function）来衡量这个解决方案的优劣。所以从一个基因组到其解的适应度形成一个映射。可以把遗传算法的过程看作是一个在多元函数里面求最优解的过程。可以这样想象，这个多维曲面里面有数不清的“山峰”，而这些山峰所对应的就是局部最优解。而其中也会有一个“山峰”的海拔最高的，那么这个就是全局最优解。而遗传算法的任务就是尽量爬到最高峰，而不是陷落在一些小山峰。通过交叉可能发现中间存在的山峰，而通过变异可能发现远方可能存在的山峰。这和随机梯度下降法非常相似，想一想随机梯度下降法的思路：固定的下降步长和随机的动量共同决定下降距离。

关键词解释

基因(gen)：染色体的长度，按照一定的比例衰减，越靠前基因长度越长

选择(selection)：以一定的概率从种群中选择若干个个体。一般，选择过程是一种基于适应度的优胜劣汰的过程。具体来说，基因的长度从前到后逐渐变短，因此越靠前的基因越有可能被选中多次，即生物学里强者基因容易遗传；而靠后的 基因可能无法被选中，即被淘汰了。

交叉(crossover)：一定概率二者的基因对应的value进行随机比例的交流，具体体现为：
c * x + (1 - c) * y
(1 - c) * x + c * y
c即为随机比例∈(0, 1)

变异(mutation)：复制时可能（很小的概率）产生某些复制差错，变异产生新的值。这样新的值是随机生成的，且其符合约束。

排序(sort): 在经过交叉，变异等操作后，越适宜环境的，换句话说，使得目标函数值大的值，将被排序在越前面。这样在选择时也有更大可能性被选中，体现了适者生存的特点。

MCMC

蒙特卡洛模拟是一种基于随机试验和统计计算的数值方法，也称计算机随机模拟方法或统计模拟方法。蒙特卡罗方法的数学基础是概率论中的大数定律和中心极限定理。因为在目标函中有期望，约束条件中存在概率约束，程序中的处理是生成10000个点，然后计算其带入公式后的均值和比例，即为目标函数期望和概率约束。

Stackelberg

在Stackelberg博弈中领导者首先确定自身的混合策略，跟随者通过观察得到领导者的策略信息，然后选择能够最大化自身收益的策略进行博弈，根据策略执行动作跳转到下一状态。在本问题中，初次博弈后上下层互为领导者，即观察对方的决策作出自身的跟随决策，以图自身利益最大化。

算法思路

求解某一次博弈过程中的遗传算法逻辑

各文件（模块）间调用关系

求解结果

下面输出的分别是x,y和目标值。
下层的最优选择是：[7.901061864941676, 5.601831023535025, 30.093415262208197]
上层的最优选择是：[7.900695244599646, 5.601831023535025, 87.25621578018004]

在50轮博弈中，下层的决策变化：

在50轮博弈中，上层的决策变化

放在三维空间中，z轴为各自的目标函数：

附录

model.py 文件代码

import Genetic
import mcmc
import plot

l = 5
u = 12


if __name__ == '__main__':
    gen_size = 50
    q = Genetic.create_chromosome()  # q是基因上下标，value是基因对应的值
    value_xy = Genetic.creat_value(l, u)  # 生成xy的值
    low_dec = [[0, 0, 0] for i in range(gen_size)]
    upper_dec = [[0, 0, 0] for i in range(gen_size)]
    for i in range(gen_size):
        print("当前是第{}次博弈".format(i+1))
        islower = True
        value_xy = Genetic.gen_main(q, value_xy, l, u, gen_size, islower)
        tmp1 = [k for k in value_xy[0]]
        low_dec[i] = [k for k in value_xy[0]]
        for j in range(Genetic.pop_size):       # 下层根据对方x的取值，采取可能最优的策略，并将这种策略运用于每一种方案
            value_xy[j][1] = value_xy[0][1]    # 设置y值全部一样
        value_xy = Genetic.re_create_x(value_xy, l, u)     # 重置x
        islower = False
        value_xy = Genetic.gen_main(q, value_xy, l, u, gen_size, islower)
        tmp2 = [k for k in value_xy[0]]
        upper_dec[i] = [k for k in value_xy[0]]
        for j in range(Genetic.pop_size):    # 上层根据对方x的取值，采取可能最优的策略，并将这种策略运用于每一种方案
            value_xy[j][0] = value_xy[0][0]   # 设置x值全部一样
        print(low_dec)
        print(upper_dec)
        value_xy = Genetic.re_create_y(value_xy)
    print("下层的最优选择是：{}".format(tmp1))
    print("上层的最优选择是：{}".format(tmp2))
    p = plot.plot(low_dec, upper_dec)
    p.plot_xy()
    p.plots_3D()

genetic.py文件代码

mcmc.py文件代码

plot文件代码

constrain.py文件代码

结束语

如果有帮到你，请点赞支持。这是用蒙特卡洛实现的概率约束，如果使用robust方法会满足更具鲁棒性的概率约束。