第四章 小世界网络上的博弈

一、小世界网络上的博弈概述

• 随机规则网络能使得合作者在更多的欺骗诱惑条件下生存下来, 即合作者完全消亡的背叛诱惑值达到最大。
• 在个体自愿参与的囚徒困境博弈中, 三种策略（合作、背叛、单干）能够通过循环入侵而得以稳定共存, 这样就避免了整个群体陷入完全背叛的状态, 从而对合作行为的演化起到了非常好的促进作用。
• 在方格网络上, 偏好选择的程度必须足够的大才能有助于合作的演化; 但在小世界网络上, 很小程度的偏好选择可以对合作演化起到促进作用。
• 同质小世界网络和异质小世界网络的平均路径长度和集聚水平几乎相同, 但后者中的重连机制能够产生更高水平的结构异质性, 从而使得异质小世界网络更有利于合作行为的演化。

主要以两种方式来生成小世界网络:

• 一种基于规则环图进行断边重连;
• 另一种基于方格网进行断边重连, 关注小世界效应对博弈合作行为演化的影响, 并探讨规则小世界网络和异质小世界网络产生影响的区别。

二、规则小世界网络上的博弈

1. 规则小世界网络上的博弈模型构建

   对度 $k=4$ 的方格网以概率 $P$ 断边重连并随机扰乱，保证每个节点度不变。为简化研究，令囚徒博弈中的参数为 $R=1,T=b(b>1),S=P=0$。网络如图 4-1 所示

   

   定义个体之间影响力参量 $A_{ij}(i,j=1,2,3,\dots ,N)$，表示博弈个体 $j$ 对 $i$ 的影响权重，非对称，假定 $A_{ij}$ 服从幂律分布 $P(A)\sim A^{-\gamma }$，表示社会中有强大影响力的人少，大多数人影响力不大。

   更新策略：根据邻居对他的影响力大小，以某个概率选择一个邻居，然后再比较收益，根据比较结构选取下一轮策略。概率为
   $$P_{ij}=\frac{A_{ij}}{\sum _{k\in {\Omega }_i}{A}_{ik}}$$
   其中 ${\Omega }_i$ 表示个体 $i$ 的邻居集合。

   当邻居 $j$ 被选出来后，个体 $i$ 在下次博弈中才去邻居 $j$ 的策略的概率为
   $$P_{(i\hookleftarrow j)}=\frac{1}{1+e^{\left[\left(U_i-U_j\right)/k\right]}}$$

2. 仿真实验结果及讨论

   • 无论是否存在个体之间影响力的差异, 合作者均衡密度总是随着博弈参数 $b$ 的僧大而减少。
   • 随着网络中长程连接的增多， 即重连概率 $P$ 的增大，合作行为在一定程度上得到促进。
   • 随着参数 $b$ 取值增加， 合作者的平均密度会继续单调下降。
   • 个体之间的影响力差异是群体合作行为产生的重要因素之一。

三、小世界网络上具有行为一致性的博弈

一致性偏好定义：偏好选择周围大多数人所采取的行为。

1. 小世界网络上具有行为一致性的博弈模型构建

   网络上个体基于行为一致性需求的个体进行囚徒困境博弈， 按照最优反应规则调整策略。

   • 基于方格网的规则小世界网络和异质小世界网络

     网络结构如图 4-4 所示

     

     规则小世界网络生成方法：$断AB\to 连BC\to 断CD\to 连DE\to 断EF\to 连FG\to 断GH\to 连HA$

     异质小世界网络生成方法：$断AB\to 连BC;断DE\to 连DF$，知道所有短程边被重连。

   • 个体的囚徒困境博弈及策略更新——引入行为一致性的最优反应

     其囚徒困境博弈矩阵如图 4-5 所示

     

     $c$ 表示个体采取合作行为 $C$ 所付出的成本, $b$ 表示合作行为给对手带来的收益($0<c<b$),背叛行为 $D$ 没有成本也不带来任何收益。 用 $\pi (s_i,s_j)$ 表示个体 $i$ 的博弈收益($s_i$ 和 $s_j$ 分别为个体 $i$ 和 $j$ 的策略), 那么有
     $$\begin{array}{c}\pi (C,C)=b-c,\pi (C,D)=-c,\\ \pi (D,C)=b,\pi (D,D)=0\end{array}$$
     用 $s_i$ 表示个体 $i$ 的策略, 如果个体 $i$ 采取 $C$ 策略, 令 $s_i=1$; 如果个体 $i$ 采取 $D$ 策略, 令 $s_i=0$ 。那么, 个体 $i$ 的收益函数可表示为

     $$U_i=\sum _{j\in {\Omega }_i}\pi \left(s_i,s_j\right)-\frac{\sum _{j\in {\Omega }_i}\left|s_i-s_j\right|}{k_i}\cdot m$$
     其中, $\sum _{j\in {\Omega }_i}\pi \left(s_i,s_j\right)$ 表示个体 $i$ 的博弈收益; $\frac{\sum _{j\in {\Omega }_i}|s_i-s_j|}{k_i}$ 表示个体 $i$ 相互作用的邻居 中与其行为不一致的个体比例（${\Omega }_i$ 为个体 $i$ 的邻居集合, $k_i$ 为个体 $i$ 的连接数); $m(m>0)$ 表示个体的。由收益函数可知,行为一致性需求程度 如果个体 $i$ 选择 $C$ 策略, 可获得收益为

     $$U_i\left(s_i=1\right)=k_i^C(b-c)+k_i^D(-c)-\frac{k_i^D}{k_i}\cdot m$$
     如果个体 $i$ 选择 $D$ 策略, 可获得收益为

     $$U_i\left(s_i=0\right)=k_i^C(b)-\frac{k_i^C}{k_i}\cdot m$$
     那么, 当 $U_i\left(s_i=1\right)-U_i\left(s_i=0\right)⩾0$, 也就是当

     $$\frac{\left(k_i^C-k_i^D\right)\cdot m}{k_i}⩾k_i\cdot c$$
     成立时, 个体的最优反应为 $\mathrm{C}$ 策略; 否则, 个体选择 $\mathrm{D}$ 策略。

2. 理论分析

   若个体没有行为一致性需求，即 $m=0$，此模型等价于最优反映规则。且个体合作行为得以演化的前提条件是 $C$ 策略邻居比 $D$ 策略邻居多，即
   $$k_i^C-k_i^D>0$$
   给出几个引理和定理：

   • 引理1：在规则网络上， 如果某个有 $n$ 个 $D$ 策略邻居的个体采取了背叛策略， 所有有 $n+\epsilon (\epsilon \ge 0)$ 个 $D$ 策略邻居的个体必然也采取背叛策略。
   • 定理1：在 $k$ 维规则网络上， 当 $\frac{c}{m}>\frac{1}{k}$ 时，群体必然演化为全面背叛均衡。
   • 定理2：在 $k$ 维规则网络上， 当 $\frac{c}{m}>\frac{k-2}{k^2}$ 时， 一个背叛者必然导致其周围邻居都采取背叛策略，两个相互连接的背叛者必然导致群体演化为全面背叛。

3. 仿真实验结果及讨论

   通过仿真实验方法对群体在方格网、 同质小世界网络、 异质小世界网络上的行为演化进行研究。在重复博弈的初始时刻，个体以概率 $P_0$ 选择 $C$ 策略作为初始博弈策略。某个博弈时刻合作者在整个群体中所占的比例称为合作者密度 $f_C(t)=n_{C(t)}/N$ (其中 $n_{C(t)}$ 表示 $t$ 时刻群体中合作者的数量) 。调整策略为一致性最优反应策略。将最终的合作者密度 $f_C(t)$ 作为稳定状态的合作者均衡密度 $P_C$。

   • 初始的合作者密度 $P_0$ 必须足够大，合作者才可能在引入行为一致性需求的最优反应中存在。

   • 对于更高水平的初始合作者密度 $P_0$，群体通过演化产生更高水平的合作者均衡密度 $P_C$。

   • 存在导致完全背叛均衡的临界值 $\frac{c}{m}$。 当仿真参数 $\frac{c}{m}$ 大于该临界值时， 群体演化为全面背叛； 当仿真参数 $\frac{c}{m}$ 小于该临界值时， 合作者在引入一致性需求的最优反应中得以演化， 但合作者均衡密度不随 $\frac{c}{m}$ 的减小而线性噌大， 而是保持一定水平的合作者均衡密度，如图 4-6 所示

     

   • 在行为一致性需求的最优反应学习规则下, 合作行为在局部空间结构上的演化不仅与初始的合作者数量相关,还与初始状态下合作者和背叛者在空间结构中的分布状态有关。

   • 对于规则小世界网络上的合作行为：对于不同的参数 $q$，都存在从一定水平的合作者均衡密度 $P_C$ 转变为全面背叛均衡的 $\frac{c}{m}$ 的临界值；其次，随着小世界参数 $q$ 的增大，群体通过演化产生更高水平的合作者均衡密度 $P_C$。

   • 对于异质小世界网络上的合作行为：与规则小世界网络相似，但临界值随着参数$q$​ 的增大而减小。随着 $\frac{c}{m}$ 的减小， 异质小世界网络上的合作者均衡密度不像方格网和规则小世界网络上那样保持不变， 而是表现出逐期增大的趋势。

四、激励机制对小世界网络博弈的影响

目的：网络系统初始状态存在少数的合作者和大量的背叛者时, 合作行为是否还能够在空间网络上产生。

1. 小世界网络上的具有激励机制的博弈模型构建

   网络结构包括方格网、规则小世界网络和异质小世界网络。用 $\pi (s_i,s_j)$ 表示个体 $i$ 的博弈收益($s_i$ 和 $s_j$ 分别为个体 $i$ 和 $j$ 的策略), 那么有
   $$\begin{array}{c}\pi (C,C)=b-c,\pi (C,D)=-c,\\ \pi (D,C)=b,\pi (D,D)=0\end{array}$$
   激励机制：这里给定一个固定的奖励金额 $\sigma$，表示组织对于采取合作行为的个体的激励。 在个体选择博弈策略， 获得各自的博弈收益后， 金额 $\sigma$ 将平均分配给所有选择合作行为的个体。 那么， 对于个体 $i$，用 $k$ 和 $k_i^C$ 分别表示其博弈对手的数量和采取合作策略的博弈对手数量， 其总收益 $U_i$ 是其博弈收益与组织奖励的总和， 即
   $$U_i=\{\begin{array}{ll}{k}_i^{C}b-kc+\frac{\sigma }{N^C}& \text{ 当 }i\text{ 是合作者 }\\ k_i^{C}b& \text{ 当 }i\text{ 是背叛者 }\end{array}$$
   其中, $N^C$ 为整个网络中选择合作策略的个体数量。

   个体在策略更新时采用模仿最优规则，循环重复此过程， 最终整个网络中的合作者比例达到演化稳定状态。

2. 理论分析

   

   如图 4-13所示，初始状态 $t=0$，方格上只有一个合作者1的收益为 $-4c+\sigma$，其他四个邻居标号为2 ~ 5，收益均为 $b$，其他背叛者收益为 $0$。如果 $-4c+\sigma >b$，则2 ~ 5号背叛者在 $t=1$ 选择合作策略，形成如图 4-14 所示结构

   

   根据博弈更新策略

   • 1号合作者在 $t=2$ 时刻必然还是选择合作策略；
   • 2 ~ 5号合作者在 $t=2$ 时刻依然选择合作策略的条件是1号合作者的收益大于6 ~ 9号背叛者的收益， 即 $4b-4c+\frac{\sigma }{5}>2b$；
   • 6 ~ 9号背叛者在 $t=2$ 时刻选择合作策略的条件是 2 ~ 5 号合作者的收益大于自身的收益， 即 $b-4c+\frac{\sigma }{5}>2b$；
   • 10 ~ 13号背叛者在 $t=2$ 时刻选择合作策略的条件是2 ~ 5号合作者的收益大于10 ~ 13号背叛者的收益， 即 $b-4c+\frac{\sigma }{5}>b$。

   综合以上所有的分析可知， 当 $\sigma >5b+20c$ 时， 1 ~ 5号合作者依然保持合作， 6 ~ 13号背叛者将在 $t=2$ 时刻选择合作策略，形成如图 4-15 所示结构

   

   对后续时刻进行合作演化，各时刻只存在以下四个个体

   1. 处于合作者聚集中间的合作者（如1 ~ 5号个体），收益为 $4b-4c+\frac{\sigma }{N^C(t)}$；

   2. 处于合作者聚集边界的合作者，分两类

      • 有两个背叛者邻居（如6 ~ 9号个体），收益为 $2b-c+\frac{\sigma }{N^C(t)}$；
      • 有三个背叛者邻居（如10 ~13号个体），收益为 $b-4c+\frac{\sigma }{N^C(t)}$。

   3. 处于合作者聚集边界的背叛者，分两类

      • 有两个合作者邻居（如14 ~ 21号个体），收益为 $2b$；
      • 有一个合作者邻居（如22 ~ 25号个体），收益为 $b$。

   4. 远离合作者聚集结构的背叛者，收益为 $0$。

   综上所述，从 $t=2$ 时刻，使得合作者聚集结构不断扩大的条件为
   $$\sigma >4c{N}^C(t)$$
   当网络系统中合作者数量越来越多，$N^C(t)$ 足够大时，上式难以满足，引入参数 $\omega =\frac{\sigma }{4cN}$，合作者聚集扩大的条件可以表示为
   $$\frac{N^C(t)}{N}<\omega$$
   即当网络中合作者的比例小于 $\omega$ 时，合作者的聚集结构将继续扩大。

3. 仿真实验结果及讨论

   通过仿真实验方法对群体在方格网、 同质小世界网络、 异质小世界网络上的行为演化进行研究。在重复博弈的初始时刻，个体以概率 $P_0$ 选择 $C$ 策略作为初始博弈策略。某个博弈时刻合作者在整个群体中所占的比例称为合作者密度 $f_C(t)=n_{C(t)}/N$ (其中 $n_{C(t)}$ 表示 $t$ 时刻群体中合作者的数量) 。调整策略为模仿最优反应策略。将最终的合作者密度 $f_C(t)$ 作为稳定状态的合作者均衡密度 $P_C$。

   • 方格网上合作行为演化的激励

     图 4-16 给出不同初始合作者密度 $P_0$ 条件下， 方格网上激励参数加对合作者均衡密度 $P_c$ 的影响。 每个子图中的不同曲线对应不同的博弈成本条件 $C$ （个体采取合作所付出的成本）。

     

     对于中等和较高的成本条件($C=0.5$ 和 $C=0.8$)，合作者均衡密度 $P_C$ 始终随着激励参数 $\omega$ 的增大而增大；对于较小的成本条件 $C=0.2$，合作者均衡密度 $P_C$ 存在随着激励参数 $\omega$ 的增大而减小的区域 。

   • 小世界网络上合作行为演化的激励

     异质小世界网络上的合作者均衡密度总体来说高于规则小世界网络上的合作者均衡密度 。主要是由于异质小世界网络在重连参数 $q$ 增大的情况下，度会发生变化，形成许多高连接度的 hub 节点，这些节点有助于合作行为的维持和演化。

     其次，合作者均衡密度在异质小世界网络上表现出较好的随着激励参数 $\omega$ 的增大而逐渐增大的特性。