[复杂网络博弈] 第二章 演化博弈动力学基础

  经典博弈论中, 有着完全信息和完全理性的强假设, 这在现实生活中很难实现. 演化博弈论摒弃以上两种假设, 利用自然选择、突变等机制, 来分析和预测参与个体的策略演化过程和动态平衡. 在这一章节, 将介绍演化博弈论的基础内容. 首先先介绍群体博弈, 接着介绍有限群体演化策略的随机演化动力学, 最后阐述无限群体演化中的连续演化动力学.

1. 群体博弈

  群体博弈 (population game) 理论是以一个由多个参与个体组成的群体作为研究对象. 其具有以下典型特征:

1. 参与博弈的个体集合组成了一个群体. 对个体的区分仅在于其所使用的的策略, 当群体中个体数量趋于无穷时, 单一个体的决策行为对整体群体博弈的影响可以忽略不计.
2. 群体博弈中只有一个策略集合, 且这一集合的元素数目是有限的. 群体中每个个体的收益仅取决于使用的策略.
3. 每个策略的效用取决于群体中使用各个策略的个体数目或比例.

  根据参与个体的数目, 可以将群体博弈分为有限群体博弈和无限群体博弈. 在现实中, 不可能存在无限个个体, 两者的区别在于, 有限群体博弈采用数量刻画群体状态, 无限群体博弈采用比例刻画群体状态.

1.1 有限群体博弈

  在有限群体博弈中, 参与个体数是一个自然数, 设为 $N$. 令 S = { 1 , 2 , . . . , m } \mathcal S=\{1,2,...,m \} S={1,2,...,m} 表示个体选择的策略集合. 在博弈的过程中, 每个个体从集合 $\mathcal{S}$ 中选取一个策略. 设 $x_i$ 为群体选择策略 $i\in \mathcal{S}$ 的个体数目, 那么群体的状态可以记为 $\mathbf{x}=(x_1,x_2,...,x_m)$, 有 $x_i\in \mathbb{N}$ 且 ${\sum }_{i\in \mathcal{S}}{x}_i=N$. 每个策略的效用函数
U i : X → R ,    X = { x ∣ x i ∈ N , ∑ i ∈ S x i = N } (2.1) U_i:X\rightarrow \mathbb R,\ \ X=\{\boldsymbol x |x_i \in \mathbb N, \sum_{i\in \mathcal S}x_i =N \} \tag{2.1} Ui​:X→R,  X={x∣xi​∈N,i∈S∑​xi​=N}(2.1) 是群体状态到实数集的一个映射, 其中 $X$ 指群体状态的集合.

  一般地, 一个有限群体博弈由群体中包含的元素个数 $N$, 群体的策略集合 S = { 1 , 2 , . . . , m } \mathcal S=\{1,2,...,m \} S={1,2,...,m}, 以及每个策略的效用函数 $U_i:X\to \mathbb{R}$ 三个要素共同定义. 方便起见, 用记号
$$U=(U_1,U_2,...,U_m)\text{\hspace{1em}(2.2)}$$ 来表示一个群体博弈.

  两人对称矩阵博弈生成的群体博弈是最常见的群体博弈. 给定策略集合 S = { 1 , 2 , . . . , m } \mathcal S=\{1,2,...,m \} S={1,2,...,m}, 收益矩阵 $\mathbf{M}=(m_{ij}{)}_{m\times m}$. 给定一个大小为 $N$ 的群体, 令群体中每一个个体都和其他所有个体进行两人博弈, 个体的收益为两人博弈的收益之和. 令 $\mathbf{x}=(x_1,x_2,...,x_m)$ 表示群体状态, 有 ${\sum }_{i\in \mathcal{S}}{x}_i=N$, 于是每个策略 $i\in \mathcal{S}$ 的效用函数为
$$\begin{array}{rl}{U}_i(\mathbf{x})& =m_{i1}{x}_1+\cdots +m_{i,i-1}{x}_{i-1}+m_{ii}\left(x_{ii}-1\right)+m_{i,i+1}{x}_{i+1}+\cdots +m_{im}{x}_{im}\\ & =\sum _{j\in \mathcal{S}}{m}_{ij}{x}_j-m_{ii}\\ & ={\mathbf{e}}_j\mathbf{M}{\left(\mathbf{x}-{\mathbf{e}}_j\right)}^T\end{array}\text{\hspace{1em}(2.3)}$$ 其中, ${\mathbf{e}}_j$ 表示第 $j$ 个元素为1其余元素为0的 $m$ 阶单位横向量.

1.2 无限群体博弈

  设策略集合为 S = { 1 , 2 , . . . , m } \mathcal S=\{1,2,...,m \} S={1,2,...,m}, 在无限群体博弈中, 群体状态 $\mathbf{x}=(x_1,x_2,...,x_m)$ 表示每个策略的个体数目比例. 此时, 群体的集合状态为 X = { x ∣ x i ∈ [ 0 , 1 ] , ∑ i ∈ S x i = 1 } X=\{\boldsymbol x |x_i \in [0,1], \sum_{i\in \mathcal S}x_i =1\} X={x∣xi​∈[0,1],∑i∈S​xi​=1} 是一个 $m-1$ 维的单纯形 ${\Delta }_m$. 策略 $i$ 的策略函数 $U_i:X\to \mathbb{R}$ 是一个从群体状态到实数集的一个映射, 通常被假定为 Lipschitz 连续或者连续可微的.

  在无限群体的两人对称矩阵博弈中, 收益矩阵为 $\mathbf{M}$, 个体采用策略 $i$ 的期望收益为
$$U_i(\mathbf{x})=\sum _{j\in \mathcal{S}}{m}_{ij}{x}_j={\mathbf{e}}_i\mathbf{M}{\mathbf{x}}^T,\text{\hspace{1em}(2.4)}$$ 而整个群体的平均收益为:
$$\bar{U}(\mathbf{x})=\sum _{i\in \mathcal{S}}{x}_i{U}_i(\mathbf{x})=\mathbf{x}\mathbf{M}{\mathbf{x}}^T.\text{\hspace{1em}(2.5)}$$ 从式 $(2.4)$ 与 $(2.5)$ 可以看出, 无限群体博弈中, 种群的策略分布 $\mathbf{x}=(x_1,x_2,...,x_m)$ 对每个个体收益的影响等同于一个使用混合策略 $\mathbf{x}=(x_1,x_2,...,x_m)$ 的对手对个体收益的影响, 因此, 无限群体博弈常常被用于搜索两人对称博弈的混合策略纳什均衡.

1.3 纳什均衡与演化稳定策略

  假设当前的群体状态为 $\mathbf{x}$, 定义群体博弈 $\mathbf{U}=(U_1,U_2,...,U_m)$ 的纯策略最优响应如下:
$${\mathcal{B}\mathcal{R}}_p(\mathbf{x})=\arg \underset{i\in \mathcal{S}}{\max }{U}_i(\mathbf{x})\text{\hspace{1em}(2.6)}$$ 群体博弈的纯策略最优响应是从群体状态到策略集合的一个映射, 它对应当前群体状态下效用最高的策略集合.

  群体博弈的混合策略最优响应如下:
B R m = { y ∈ Δ m ∣ y i > 0 ⇔ i ∈ B R p } (2.7) \mathcal{BR}_m=\{y\in \varDelta_m | y_i >0 \Leftrightarrow i \in \mathcal {BR}_{p} \} \tag{2.7} BRm​={y∈Δm​∣yi​>0⇔i∈BRp​}(2.7) 群体博弈的混合策略最优响应是从群体状态集合到群体状态集合的映射, 它是由部分或全部纯策略最优响应策略组成的群体状态集合.

  定义2-1 (群体博弈纳什均衡) 给定群体博弈 $U$, 如果一个群体状态 ${\mathbf{x}}^{\ast }$ 满足条件: ${\mathbf{x}}^{\ast }\in {\mathcal{B}\mathcal{R}}_m({\mathbf{x}}^{\ast })$, 则称状态 ${\mathbf{x}}^{\ast }$ 是群体博弈的一个纳什均衡. 群体博弈 $U$ 的纳什均衡集合可以记为
N E ( U ) = { x ∈ Δ m ∣ x ∈ B R m ( x ) } . (2.8) NE(U)=\{ \boldsymbol x \in \varDelta_m | x\in \mathcal{BR}_m(\boldsymbol x) \}. \tag{2.8} NE(U)={x∈Δm​∣x∈BRm​(x)}.(2.8) 上诉等价于
N E ( U ) = { x ∈ Δ m ∣ ∀ i , j ∈ S , x i > 0 ⇔ U i ( x ) ≥ U j ( x ) } . (2.9) NE(U)=\{ \boldsymbol x \in \varDelta_m | \forall i,j \in \mathcal S, x_i >0 \Leftrightarrow U_i(\boldsymbol x) \ge U_j(\boldsymbol x) \}. \tag{2.9} NE(U)={x∈Δm​∣∀i,j∈S,xi​>0⇔Ui​(x)≥Uj​(x)}.(2.9)

  定理2-1 所有群体博弈都存在至少一个纳什均衡.

  定义2-2 (演化稳定策略, evolutionary stable stratey) 给定一个群体博弈 $\mathbf{U}=(U_1,U_2,...,U_m)$, 对于一个群体状态 ${\mathbf{x}}^{\ast }$, 如果存在 $\overline{ϵ}>0$, 使得对任意 $0<ϵ<\overline{ϵ}$ 及 $\mathbf{x}\ne {\mathbf{x}}^{\ast }$ 都有
$${\mathbf{x}}^{\ast }{\mathbf{U}}^T((1-ϵ){\mathbf{x}}^{\ast }+ϵ\mathbf{x})>\mathbf{x}{\mathbf{U}}^T((1-ϵ){\mathbf{x}}^{\ast }+ϵ\mathbf{x}),\forall x\in {\Delta }_m,\text{\hspace{1em}(2.10)}$$ 则称 ${\mathbf{x}}^{\ast }$ 为这个群体博弈的演化稳定策略.

  群体博弈的演化稳定策略表示为: 给定一个群体博弈 $\mathbf{U}$, 假设当前群体状态为 ${\mathbf{x}}^{\ast }$, 在突变或者自由探索的作用下, 有一定比例 $ϵ>0$ 的个体采取任意新的状态 $\mathbf{x}\in {\Delta }_m$, 其他 $1-ϵ$ 的个体保持原来状态. 因此群体状态变化为 $(1-ϵ){\mathbf{x}}^{\ast }+ϵ\mathbf{x}$. 在这种新状态中, 保持原来状态部分群体的平均收益就大于采取新状态部分群体的收益, 则称原来的状态 ${\mathbf{x}}^{\ast }$ 是演化稳定的.

  群体状态 ${\mathbf{x}}^{\ast }$ 是演化稳定策略的条件包括:

1. 纳什均衡条件: ${\mathbf{x}}^{\ast }{\mathbf{U}}^T({\mathbf{x}}^{\ast }{)}^T\ge \mathbf{x}{\mathbf{U}}^T({\mathbf{x}}^{\ast }{)}^T$;
2. 稳定性条件: 如果存在 $\mathbf{x}\ne {\mathbf{x}}^{\ast }$ 使得 ${\mathbf{x}}^{\ast }{\mathbf{U}}^T({\mathbf{x}}^{\ast }{)}^T=\mathbf{x}{\mathbf{U}}^T({\mathbf{x}}^{\ast }{)}^T$, 那么 ${\mathbf{x}}^{\ast }{\mathbf{U}}^T{\mathbf{x}}^T-\mathbf{x}{\mathbf{U}}^T{\mathbf{x}}^T$.

  对于矩阵博弈而言, 严格纳什均衡一定是演化稳定策略, 而演化稳定策略一定是那是均衡. 因此, 演化稳定策略是纳什均衡的一个细化.

2 随机演化动力学

  演化博弈理论的核心特征在于群体博弈中的群体状态随时间变化的动态过程, 并通过群体状态的演化特性来解释和预测群体在博弈中的决策行为¹. 演化博弈模型如图2.1²所示.

图2.1 演化博弈模型

  下面, 将进一步介绍个体收益及其适应度、一些典型策略更新规则、演化动力学平稳分布与策略选择的关系等内容.

2.1 适应度景观

  给定有限群体博弈 $\mathbf{U}=(U_1,U_2,...,U_m)$, 个体集合 V = { v 1 , v 2 , . . . , v n } \mathcal V = \{ v_1, v_2,...,v_n \} V={v1​,v2​,...,vn​}, 策略集合 S = { 1 , 2 , . . . , m } \mathcal S =\{1,2,...,m\} S={1,2,...,m}. 那么当群体状态为 $x=(x_1,x_2,...,x_m)$ 时, 一个个体 $v_i\in \mathcal{V}$ 采取策略 $s_i\in \mathcal{S}$ 的收益为 ${\pi }_i(\mathbf{x})=U_{s_i}(\mathbf{x})$.

  个体收益可正可负, 但适应度只能是正数, 因此常用指数函数
$$f_i(\mathbf{x})=exp(w\times {\pi }_i(\mathbf{x}))\text{\hspace{1em}(2.11)}$$ 来表示个体 $v_i$ 的适应度 (fitness), 其中 $w\ge 0$ 表示调节选择强度的常数. 当 $w=0$ 时, 个体收益对适应度没有影响, 所有个体适应度为 $f_i=1$ 完全相同, 这一演化过程称为**随机漂移 (random drift)**过程, 表示群体状态的演化与群体博弈无关, 完全由随机因素决定.

  当 $w\to 0$ 时, 个体收益对适应度影响非常小, 通过指数函数线性化可得到
$$f_i(\mathbf{x})=1+w\times {\pi }_i(\mathbf{x}).\text{\hspace{1em}(2.12)}$$ 这种适应度影响很小担忧不可忽略的情景称为弱选择 (weak selection), 这是最常见的一种情形. 对应的, $w\gg 0$ 的情景称为强选择 (strong selection).

  弱选择和强选择都统称为状态依赖的选择 (state-dependent selection), 该两种场景下的适应度都依赖于群体状态. 当适应度于群体状态无关时, 即 $f_i(\mathbf{x})=c_{s_i}$, 这里 $c_{s_i}$ 指一个依赖策略 $s_i$ 的常数, 这种场景称为常数选择 (constant selection).

2.2 典型更新规则

  典型更新过程有四种: 生灭过程, 死生过程, 模仿过程, Wright-Fisher 过程. 其中, 前三种过程每一步只更新一个个体, 称为随机时序更新; Wright-Fisher 过程每一步更新一个群体, 为同步更新. 具体如下:

1. 生灭过程: 每一步, 以正比于适应度的概率, 从群体中选择出一个个体; 随后, 该个体产生一个与自己策略相同的复制个体, 并让这个复制个体随机地替代群体中剩余个体中的某一个.
2. 死生过程: 每一步, 随机地从群体中淘汰一个个体, 然后以正比于适应度的概率, 从剩余个体中选择一个个体, 产生一个与该个体策略相同的复制个体, 替代淘汰的个体.
3. 模仿过程: 每一步, 随机从群体中选择一个个体, 该个体按照一定的概率, 模仿群体中另一个个体的策略.
4. Wright-Fisher 过程: 以正比于适应度的概率, 从群体中选择一个个体并产生一个策略相同的复制个体, 重复这一过程使得新产生的个体数目等于原群体的个体数目, 并将新个体所形成的群体替代原群体.

  有限群体博弈中的策略演化过程对应于一个有限状态的马尔可夫链. 生灭过程与 Wright-Fisher 过程的数学模型可参考参考文献 2.

2.3 固定概率、平稳分布与策略选择

  有限群体博弈中的策略更新过程定义了一个在群体状态集合上的马尔可夫过程. 对应的马尔科夫过程具有以下性质:

1. 突变概率 $\mu =0$ 时, 该马氏过程是一个吸收型马尔可夫链. 由单一策略组成的群体状态时对应马氏过程的吸收态.
2. 突变概率 $\mu \ne 0$ 时, 该马氏过程是一个遍历型马尔可夫链. 从任意初始状态开始, 群体的最终状态将收敛于一个平稳分布.

  平稳分布的概念如下:
  定义2-3 (马氏过程的平稳分布, stationary distribution of a Markov process) 设 $P$ 是反映状态转移的正规概率矩阵, 对于某一状态向量 $\tilde{\mathbf{x}}$ 满足 $\tilde{\mathbf{x}}P=\tilde{\mathbf{x}}$. 则称 $\tilde{\mathbf{x}}$ 为该马氏过程的平稳状态概率向量, 又称平稳分布, 或称为 $P$ 的不变测度 (invariant measure).

  定理2-2 给定一个大小为 $n$ 的群体, 其中在初始时刻 $i$ 策略个体的数目为 $k\le n$, 那么生灭过程 (死生过程或 Wright-Fisher 过程) 下, 如果不考虑突变概率 (即 $\mu =0$) 且选择强度为 $w=0$, 则 $i$ 策略个体的固定概率为
$${\rho }_i=\frac{k}{n}.\text{\hspace{1em}(2.13)}$$ 在随机漂移过程中, 每种策略的个体在中群众所占的比例是关于这个随机漂移的不变鞍³.

  定理2-3 给定一个大小维 $n$ 的群体, 假定其群体博弈由如下两人对称矩阵博弈生成:
$$\begin{array}{ccc}& A& B\\ A& a& b\\ B& c& d\end{array},\text{\hspace{1em}(2.14)}$$ 其中, { A , B } \{ A,B \} {A,B} 为策略集合. 在弱选择 $w\to 0$ 作用下, 对于具有任意突变概率 $\mu \in [0,1]$ 的生灭过程 (或死生过程), 如果
$$\frac{n-2}{n}a+b>c+\frac{n-2}{n}d,\text{\hspace{1em}(2.15)}$$ 那么群体对策略 $A$ 偏好于策略 $B$.

3 连续演化动力学

  无限群体博弈中, 群体的状态空间集合是一个连续空间, 通常使用微分方程来刻画群体的演化过程.

3.1 调整协议及平均动力学

  给定一个群体博弈 $U(\mathbf{x})=(U_1(\mathbf{x}),U_2(\mathbf{x},...,U_m(\mathbf{x}))$. 令 S = { 1 , 2 , . . . , m } \mathcal S = \{ 1,2,...,m \} S={1,2,...,m} 为每个个体的策略集合, $\mathbf{x}=(x_1,x_2,...,x_m)$ 为群体状态, 其中 $x_i$ 表示策略 $i\in \mathcal{S}$ 在群体中所占的比例. 显然, 群体状态集合是一个 $m$ 维的单纯形
$${\Delta }_m=\left\{\mathbf{x}\in {\mathbb{R}}_{+}^m|\sum _{i\in \mathcal{S}}{x}_i=1\right\}.\text{\hspace{1em}(2.16)}$$

  定义2-4 (状态调整协议) 群体状态的调整协议是一个从策略的效用值 $U\in {\mathcal{R}}^m$, 和群体状态 $\mathbf{x}\in {\Delta }_m$ 到 $m\times m$ 维非负实数集的映射 $\tau :{\mathcal{R}}^m\times {\Delta }_m\to {\mathcal{R}}^{m\times m}$. 这个映射的第 $i$ 行第 $j$ 列的元素 ${\tau }_{ij}(U(\mathbf{x}),\mathbf{x})$ 表示群体中 $i$ 策略个体转化为 $j$ 策略个体的比率, 其中 $i,j\in \mathcal{S}$. 如果在给定策略效用后, 群体的状态调整协议于群体当前状态无关, 那么将 ${\tau }_{ij}(U(\mathbf{x}),\mathbf{x})$ 记作 ${\tau }_{ij}(U(\mathbf{x}))$, 其中 $i,j\in \mathcal{S}$.

  定义2-5 (平均动力学) 给定一个群体博弈 $U$ 和状态调整协议 $\tau$, 群体状态的平均动力学是指如下微分方程:
$${\dot{x}}_i=\sum _{j\in \mathcal{S}}{x}_j{\tau }_{ji}\left(U\left(\mathbf{x}\right),\mathbf{x}\right)-x_i\sum _{j\in \mathcal{S}}{\tau }_{ij}\left(U\left(\mathbf{x}\right),\mathbf{x}\right),\forall i\in \mathcal{S}\text{\hspace{1em}(2.17)}$$ 在平均动力学中, 每个策略所占比例的变化 ${\dot{x}}_i$ 等于从其他策略个体转变为 $i$ 策略个体的比例减去 $i$ 策略个体转变为其他策略个体的比例.

3.2 几类典型的演化动力学

3.2.1 复制动力学

  假设个体通过模仿其他个体的策略来调整自己的策略, 具体地, 每个个体随机地从群体中选择一个模仿对象, 显然每个策略被选择作为模仿对象的概率正比于这个策略在群体中所占的比例, 如果模仿对象的收益大于这个个体本身的收益, 则这个个体以正比两者收益差的概率采用模仿对象的策略; 否则, 这个个体保持其原来策略不变.

  基于上述更新规则, $i\in \mathcal{S}$ 策略个体转化为 任意 $j\in \mathcal{S}$ 策略个体的比例为
$${\tau }_{ij}\left(U\left(\mathbf{x}\right),\mathbf{x}\right)=x_j{\left[U_j\left(\mathbf{x}\right)-U_i\left(\mathbf{x}\right)\right]}_{+},\text{\hspace{1em}(2.18)}$$ 其中
$${\left[y\right]}_{+}=\{\begin{array}{lc}y,& y\ge 0\\ 0,& y<0\end{array}.\text{\hspace{1em}(2.19)}$$ 将式 $(2.18)$ 代入平均动力学方程中, 可得到
$$\begin{array}{rl}{\dot{x}}_i& =\sum _{j\in \mathcal{S}}{x}_j{x}_i{\left[U_i\left(\mathbf{x}\right)-U_j\left(\mathbf{x}\right)\right]}_{+}-x_i\sum _{j\in \mathcal{S}}{x}_j{\left[U_j\left(\mathbf{x}\right)-U_i\left(\mathbf{x}\right)\right]}_{+}\\ & =x_i\sum _{j\in \mathcal{S}}{x}_j\left[U_i\left(\mathbf{x}\right)-U_j\left(\mathbf{x}\right)\right]\end{array}\text{\hspace{1em}(2.20)}$$ 令 $\bar{U}(\mathbf{x})={\sum }_{j\in \mathbf{S}}{x}_j{U}_j(\mathbf{x})$ 表示群体的平均收益, 上述方程可以改写为 $${\dot{x}}_i=x_i\left(U_i\left(\mathbf{x}\right)-\overline{U}\left(\mathbf{x}\right)\right),\forall i\in \mathcal{S}\text{\hspace{1em}(2.21)}$$ 在这个动力学过程中, 如果某一策略的收益大于群体的平均收益, 那么这个策略在群体中所占的比例就会增长; 相反地, 如果某一策略的收益小于群体的平均收益, 那么这个策略在群体中所占的比例就会下降, 同时, 一个策略所占比例的平均增长率或下降率 ${\dot{x}}_i/x_i$ 正比于这个策略的收益与群体平均收益的差. 值得注意的是, 除了上述策略调整协议外, 复制动力学方程还可由其他状态调整协议生成.

3.2.2 Smith 动力学

  假设个体通过如下方式来调整自己的策略: 每个个体从所有策略中随机选择一个新策略, 如果新策略的收益大于该个体原策略的收益, 则这个个体以正比两者收益差的概率采用这个新的策略; 否则保持不变. 可以看到, 与上述通过模仿的状态调整方式不同, 这里个体不是通过选择模仿对象来进行比较, 而是直接选择任意策略进行比较, 由此得到的状态调整协议如下:
$${\tau }_{ij}\left(U\left(\mathbf{x}\right)\right)={\left[U_j\left(\mathbf{x}\right)-U_i\left(\mathbf{x}\right)\right]}_{+},\forall i,j\in \mathcal{S}.\text{\hspace{1em}(2.22)}$$ 将式 $(2.22)$ 代入平均动力学, 可得
$${\dot{x}}_i=\sum _{j\in \mathcal{S}}{x}_j{\left[U_i\left(\mathbf{x}\right)-U_j\left(\mathbf{x}\right)\right]}_{+}-x_i\sum _{j\in \mathcal{S}}{\left[U_j\left(\mathbf{x}\right)-U_i\left(\mathbf{x}\right)\right]}_{+},\forall i\in \mathcal{S}.\text{\hspace{1em}(2.23)}$$ 式 $(2.23)$ 称为 Smith 动力学方程.

3.2.3 BNN 动力学

  Brown-von Neumann-Nash (BNN) 动力学为如下策略. 假设个体通过如下方式来调整自己的策略: 每个个体从所有策略中随机地选择一个新策略, 如果这个新策略的收益大于整个群体的平均收益, 那么这个个体以正比两者收益差的概率采用这个新的策略; 否则保持不变, 在这种方式下, 整个群体状态的调整协议如下:
$${\tau }_{ij}\left(U\left(\mathbf{x}\right)\right)={\left[U_j\left(\mathbf{x}\right)-\bar{U}\left(\mathbf{x}\right)\right]}_{+},\forall i,j\in \mathcal{S}.\text{\hspace{1em}(2.24)}$$ 将式 $(2.24)$ 代入平均动力学, 得
$${\dot{x}}_i=\sum _{j\in \mathcal{S}}{x}_j{\left[U_i\left(\mathbf{x}\right)-\bar{U}\left(\mathbf{x}\right)\right]}_{+}-x_i\sum _{j\in \mathcal{S}}{\left[U_j\left(\mathbf{x}\right)-\bar{U}\left(\mathbf{x}\right)\right]}_{+},\forall i\in \mathcal{S}.\text{\hspace{1em}(2.25)}$$ 式 $(2.25)$ 称为 BNN 动力学方程.

3.3 平衡点、稳定性、纳什均衡

  给定一个群体博弈 $U$, 设其连续演化动力学方程为
$$\dot{x}=V_U(\mathbf{x}),\text{\hspace{1em}(2.26)}$$ 其中, $V_U(\mathbf{x})$ 是一个与群体状态维度相同的向量函数.

  定义 2-6 (纳什平稳与正相关) 1) 如果当且仅当 $\mathbf{x}\in NE(U)$ 时, $V_U(\mathbf{x})=0$, 则称上述演化动力学是 “纳什平衡” 的; 2) 如果当 $V_U(\mathbf{x})\ne 0$ 时, 有 $V_U(\mathbf{x})U(\mathbf{x})>0$, 则称上述演化动力学是 “正相关” 的.

  显然, 纳什平衡意味着演化动力学的每个平衡点都是纳什均衡点; 而正相关性要求当群体状态不在平衡点时, 群体状态的改变方向与群体的收益向量正相关.

  定义 2-7 (群体势博弈) 给定一个群体博弈 $\mathbf{U}=(U_1,U_2,...,U_m)$, 如果存在一个连续可微函数 $\varphi :{\mathbb{R}}_{+}^n\to \mathbb{R}$, 使得
$$\frac{\partial \varphi }{\partial x_i}=U_i\left(\mathbf{x}\right),\forall i\in \mathcal{S},\text{\hspace{1em}(2.27)}$$ 则称这个群体博弈为 “势博弈”.

  势博弈具有以下良好的性质:

  定理 2-4 给定一个势函数为 $\varphi$ 的群体势博弈 $\mathbf{U}=(U_1,U_2,...,U_m)$, 如果演化动力学 $(2.26)$ 满足正相关条件, 那么从任意非平稳点开始, 沿这个演化动力学方程的解轨迹, 群体博弈的势函数是单调递增的, 即 $\frac{\partial }{\partial t}\varphi \left(\mathbf{x}\right)>0$.

  定理 2-5 给定一个势函数为 $\varphi$ 的群体势博弈 $\mathbf{U}=(U_1,U_2,...,U_m)$, 如果演化动力学 $(2.26)$ 满足纳什平稳条件和正相关条件, 那么某一群体状态 $x\in {\Delta }_n$ 是渐进稳定的, 当且仅当这个状态 $x$ 是势函数 $\varphi$ 的一个孤立的局部最大点.

  特别地, 以复制动力学为例, 在两人对称矩阵博弈生成的群体博弈中, 假设收益矩阵为 $\mathbf{M}$, 得到复制动力学方程为
$${\dot{x}}_i=x_i\left({\mathbf{e}}_i{\mathbf{M}\mathbf{x}}^T-{\mathbf{x}\mathbf{M}\mathbf{x}}^T\right),\forall i\in \mathcal{S}\text{\hspace{1em}(2.28)}$$ 设:
  (1) $\mathcal{E}$: 群体博弈演化稳定策略集合;
  (2) $\mathcal{A}$: 复制动力学的渐进稳定平衡点集合;
  (3) $\mathcal{F}$: 复制动力学方程的平衡点集合.
满足⁴: $\mathcal{E}\subseteq \mathcal{A}\subseteq NE\subseteq \mathcal{F}$.

---

1. Smith J M. Evolution and the Theory of Games[M]. Cambridge university press, 1982. ↩︎

2. 吕金虎, 谭少林, 著. 复杂网络上的博弈及其演化动力学[M]. 北京: 高等教育出版社, 2019. ↩︎

3. Lawler G F. Introduction to stochastic processes[M]. Chapman and Hall/CRC, 2018. ↩︎

4. Sandholm W H. Population games and evolutionary dynamics[M]. London: MIT press, 2010. ↩︎