【学习笔记】市场机制设计

Lecture 1

1. 博弈模型输入: $(S_1,u_1),(S_2,u_2),...,(S_n,u_n)$

• $S_i$为第$i$个参与者的策略集合
• $u_i$为第$i$个参与者的效用函数，参数为所有$n$个参与者所有策略的集合$(s_1,s_2,...,s_n)$

2. 定义: 称策略$s_i$相对于$s_i^{\prime }$强绝对占优的策略, 若对于任意$s_{-i}\in S_{-i}$, 有$u_i(s_i,s_{-i})>u_i(s_i^{\prime },s_{-i})$
3. 定义: 称策略$s_i$相对于$s_i^{\prime }$弱绝对占优的策略, 若对于任意$s_{-i}\in S_{-i}$, 有$u_i(s_i,s_{-i})\ge u_i(s_i^{\prime },s_{-i})$
4. 定义: 称策略$s^{\ast }\in S_1\times S_2\times \dots \times S_n$是一个纯纳什均衡(PNE)对于博弈$(S_1,u_1),(S_2,u_2),...,(S_n,u_n)$, 若对于任意$i$以及任意$s_i\in S_i$，有$u_i(s_i^{\ast },s_{-i}^{\ast })>u_i(s_i,s_{-i}^{\ast })$
5. 定义: 称混合策略${\sigma }^{\ast }\in \Delta (S_1)\times \Delta (S_2)\times \dots \times \Delta (S_n)$是一个纳什均衡对于博弈$(S_1,u_1),(S_2,u_2),...,(S_n,u_n)$若对于任意$i$以及任意$s_i\in S_i$，有$u_i({\sigma }_i^{\ast },{\sigma }_{-i}^{\ast })\ge u_i(s_i,{\sigma }_{-i}^{\ast })$

• 如石头剪刀布博弈中的纳什均衡是混合策略${\sigma }_1={\sigma }_2=(\frac{1}{3},\frac{1}{3},\frac{1}{3})$

课后习题

1. 如果用绝对占优策略来删除行列的方法得到最后一个方格, 证明这是一个纳什均衡
2. 证明: 石头剪刀布中(1/3,1/3,1/3)的混合策略是唯一的纳什均衡

下节课的内容

1. Single Item Auction: 单品拍卖

• Setup: 1个商品, 1个卖家, $n$个买家
• 买家$i$对商品有一个价值估计$v_i$, 约等于愿意付出的最高价额, $v_i$对除买家$i$外的所有其他人都是未知
• 效用模型: quaslinear utility, 准线性模型
  • 如果未能拍得商品, 则$u=0$
  • 如果最终拍得商品, 则$p=v_i-p$

2. Sealed-Bid Auctions 封存标价拍卖

• Setup:
  • 每个买家同时提交竞价$b_i$, 只有一次竞价机会且结果对除卖家外的所有人都不可见
  • 卖家决定谁是赢家
  • 卖家决定赢家应当付多少钱
• 显然第二步应当选取出价最高者
• 可能的第三步策略:
  • First-price-auction: 一价拍卖, 赢家出其所报的价钱
  • Second-price-auction: 次价拍卖

---

Lecture 2

3. 2nd-price/Vickrey Auction: 次价拍卖, 竞价最高者付第二高竞价者所出的价格

• 一价拍卖机制存在漏洞, 不能使得每个人都足够诚实, 因而引出次价拍卖
• Claim1: 在一个次价拍卖中, 每个竞价这有一个占优策略, $b_i\Leftarrow v_i$, 比如每个竞价这都出自己的估值$v_i$, 事实上也是如此
  • 证明:
    • 对于给定的$i$, $v_i$和其他的竞价$b_{-i}$, 显然第$i$个人的效用在竞价出$v_i$时得到了最大化
    • 令$B=ma{x}_{j\ne i}{b}_i$, 即除了第$i$个人外所有人竞价的最大值
    • 注意因为在次价拍卖中, 第$i$的效用要么是0, 要么是$B-v_i$
• Claim2: 在次价拍卖中, 如果说真话, 就不会得到负的效用
  • 因为成交价格对于竞价成功者来说一定是小于
• 定理: Vickrey auction是awesome的
  • Vickrey action是dominant-strategy incentive compatible, 即SSIC
    • 即Claim1+Claim2的结论, 每个人说真话是占优策略, 且不会得到负的效用
  • 如果竞价者是可以信赖的, 则拍卖最大化了社会剩余/社会福利
    • 社会剩余/社会福利 = ∑ i = 1 n v i x i   x i ∈ { 0 , 1 } \sum_{i=1}^n v_i x_i \space x_i ∈ \{0,1\} ∑i=1n​vi​xi​ xi​∈{0,1}，当第$i$个人赢得了拍卖, $x_i$为1, 否则为0
  • Vickrey auction是可以在多项式时间内实现的
    • 案例分析: Sponsored Search Auction
      • 每次搜索, 就会实时发生一次拍卖
      • 商品: 搜索结果页面上的$k$个广告位
      • 竞价者: 对于搜索结果页面有兴趣的商家
      • 注意: $k$个广告位不是相同, 排在越靠前的广告位价值越高
      • 令${\alpha }_j$为第$j$个广告位被点击的概率, 即CTR
      • 假设:
        • ${\alpha }_1\ge {\alpha }_2\ge ...\ge {\alpha }_k$
        • ${\alpha }_j$ 是相互独立的
        • 竞价者$i$对每一次点击都有一个私有的评估价格$v_i$, 搜索引擎与其他竞价者都无法知道, 搜索引擎与其他竞价者都无法知道, 从而会得到$v_i\ast {\alpha }_j$
      • 目标:
        • 设计一个DSIC拍卖
        • 最大化社会剩余, 即$maximize{\sum }_{i=1}^n{v}_i\ast {\alpha }_i$, 其中$x_i$是第$i$个广告位目标被点击的概率(广告位$i$被分配给了$i$), 否则为0
        • 可以在多项式时间内得出结果
      • 方法:
        • Step1: 若竞价者诚信竞价, 那么应该怎么分配使得最大化剩余以及确保算法的时间复杂度为多项式时间
        • Step2: 给定Step1的回答, 需要确定定价策略使得是一个DSIC拍卖
      • 答案: 按照竞价高低的顺序从前到后依次分配各个广告位, 即第$j$高的竞价者分配第$j$个广告位
        • 假设最终是${\alpha }_i$与$v_i$对应, 显然$v_i$应当是单调不增的, 这样才能使得${\sum }_{i=1}^n{v}_i\ast {\alpha }_i$取得最大值
    • Myerson’s引理:
      • Single-parameter environment
        • $n$个竞价者, 第$i$个竞价者对拍卖品有一个私有的估值$v_i$/单位
        • feasible allocations: X = { x 1 , x 2 , . . . , x n } X = \{x_1,x_2,...,x_n\} X={x1​,x2​,...,xn​}, 其中$x_i$是第$i$个竞价者得到的单位商品数量
        • 举个例子:
          • Single-Item Auction: 所有可能的分配方案 X = { ( 1 , 0 , . . . , 0 ) , ( 0 , 1 , . . . , 0 ) , ( 0 , 0 , . . . , 1 ) } X=\{(1,0,...,0),(0,1,...,0),(0,0,...,1)\} X={(1,0,...,0),(0,1,...,0),(0,0,...,1)}
          • Sponsored Search Auction: $X$为如何分配$k$个广告位的方法
        • 我们仍然在Sealed-Bid Auction的环境下研究这个问题
          • 收集所有的竞价 b ⃗ = { b 1 , b 2 , . . . , b n } \vec b=\{b_1,b_2,...,b_n\} b ={b1​,b2​,...,bn​}
          • 分配规则, 选择$\vec{X}(\vec{b})\in X\subseteq R^n$, $X$为一个N维向量
          • 付款规则: 选择$p(\vec{b})\in R^n$
          • 第$i$个人的效用在$\vec{b}$上等于$v_i\ast x_i(\vec{b})-p_i(\vec{b})$
          • 重点是如何确定付款规则使得$p_i(\vec{b})\in [0,b_i\ast X_i(\vec{b})]$, 即确保卖家不会倒贴, 竞价者不会得到负的效用
          • 定义: 一个分配规则$\vec{X}(\cdot )$是可以实施的(implementable), 若存在一种付款规则$p(\cdot )$使得$(\vec{X},p)$是DSIC
            • 付款规则1: 将商品给到出价最高的竞价者?
            • 付款规则2: 将商品给到出价第二高的竞价者?
            • Sponsored Search Auction中的分配方案是否是DSIC的?
          • 定义: 一个分配规则$\vec{X}(\cdot )$是单调的(monotone), 若对于任意$i$和任意$b_{-i}$, $X(z,b_{-i})$是不减的在它的所有竞价$z$中, 即高竞价者将会获得更多的商品
      • Myerson’s引理内容
        • 一个分配规则$\vec{X}(\cdot )$是可以实施的等价于$\vec{X}(\cdot )$是单调的
        • 在这种情况下, 存在唯一的付款规则$p(\cdot )$使得$(\vec{X},p)$是DSIC
        • $p(\cdot )$是可以被一个直接的公式给出(TBD)
      • 推论: 不会把商品出售给第二高的竞价者, Sponsored Search Auction中的策略是可以实施的
      • Myerson’s引理证明(Slide P.21)
        • 考虑一个分配规则$\vec{X}(\cdot )$, 若$(\vec{X},p)$是DSIC, 那么$p(\cdot )$应该是什么样的?
        • 证明分配规则是单调的: 固定$i$与$b_{-i}$, 写出$\vec{X}(z),p(z)$对于$X_i(z,b_{-i})$与$p_i(z,b_{-1})$
          • 若$y\ge z\ge 0$, DSIC需要兼顾两种情况, 即对于竞价者$i$来说, 不管高报或者低报都无法得到最高效用
            • [true value = z, false bid = y], $z\ast X(z)-p(z)\ge z\ast X(y)-p(y)$(注意不是$y\ast X(y)-p(y)$)
            • [true value = y, false bid = z], $y\ast X(y)-p(y)\ge y\ast X(z)-p(z)$
            • 移项后$z(X(y)-X(z))\le p(y)-p(z)\le y(X(y)-X(z))$, 得到$X(y)\ge X(z)$即$\vec{X}(\cdot )$是单调的
          • 证明单调的分配规则是有一个付款规则与其对应使得DSIC:
            • 书上的证明: 简单起见, 假设$X$函数的图像是place-wise constant, 即图像上是一段一段都是常数, 但是整体是单调不减, 存在跳跃间断点; 从图像上来看, 给竞价值的点, 付款值应当等于$X$函数的图像, y轴, 该点处的水平线围成的面积
            • 另一种证明: 在$z(X(y)-X(z))\le p(y)-p(z)\le y(X(y)-X(z))$各个位置除以$(y-z)$, 当$y$逼近$z$时就会有$z{X}^{\prime }(z)=p^{\prime }(z)$, 且有卖家不会倒贴竞价者所以$p(0)=0$, 则$p(\cdot )$是可以被唯一确定的, $p(b)=bX(b)-{\int }_0^{b}X(z)dz$
          • 最后我们证明$p$是有效的当$X$是单调的(充分性证明, 上面一步是必要性证明)
            • $zX(z)-p(z)=zX(y)-p(y)+S$, 其中S是图像上多出来的那块面积
            • 效用是曲线下方的面积, revenue是曲线上方的面积
            • 在Sponsored Search Auction中: $p_i(b)={\sum }_{j=i}^k{b}_{j+1}({\alpha }_j-{\alpha }_{j+1})[{\alpha }_{kn}=0]$ 实际情况中是真正点击了才会付钱, $\frac{p_i(b)}{{\alpha }_i}={\sum }_{j=i}^k{b}_{j+1}\frac{{\alpha }_j-{\alpha }_{j+1}}{{\alpha }_i}$

课后习题

1. 如果在次价格拍卖中, 如果你不说真话, 总是存在一种情况使得你的效用比说真话要低?
2. $n$个人$k$个相同商品的拍卖问题, 应当以什么价格成交?

---

Lecture 3

1. Knapsack Auctions: 背包拍卖(对应背包问题)

• $n$个竞价者, 第$i$个竞价者有一个私有的估值$v_i$和一个公开的背包大小$w_i$
• 卖家有一个商品总容量$W$, 比如卖家是广告商, 广告总时长只有三分钟
• 可行集合$X$是一个零一向量$(x_1,x_2,...,x_n)$, 使得${\sum }_{i=1}^n{w}_i\ast x_i\le W$
  • 当$w_i=1W=i$ or $k$, 则退化成单品或多品拍卖
  • 显然这里每个人的背包都是要被装满的, 不会存在背包不装满的情况
• 按照社会福利最大化规则作为分配规则来分配所有的拍卖物: $X(\vec{b})=argma{x}_{x\in X}{\sum }_{i=1}^n{b}_i\ast x_i$, 即解决背包问题
• 背包问题是NP-hard, 因此不能在短时间内计算得出结果
• $(X,p)$是awesome的吗?
  • ① DSIC(√)
  • ② 社会福利最大化(√)
  • ③ 多项式时间内求解(×)
  • 此时我们不可能relax①, 可以考虑relax②和③
• 我们的方法: relax③ 如使用动态规划在伪多项式时间内解决
• 另一种我们希望尽可能少的relax②, 使得服从①和③, 等价于relax②使得③依然单调, 比如使用近似算法(Approximate Algorithm)
• Best-case scenario: match best-known guarantee without any monotinicity or DSIC constraints
• 背包问题的贪心算法(一种近似算法)
  • ① 按照$b_i/w_i$的值对竞价者进行降序排序, 即按照单位出价排序
  • ② 挑选该排序下的竞价者加入背包, 直到某个竞价者不再能被装入背包, 就停止(不会继续向后寻找, 否则不满足单调性)
  • ③ 返回两者之一: {the solution of ②, 出价最高的竞价者}, 选择那个可以得到最大化社会福利的选择
    • 之所以要选择出价最高者, 因为可能②的结果是相当差的, 假想有一个出价很高的也买很多, 但是排序前几的几个小买单太低使得大买单无法进入背包就显然不合适
  • 这种算法是2-approx的, 即至少可以达到最优解一半的目标函数值(社会福利)
  • 难点在于并非所有近似算法给出都可以给出单调的分配规则

2. Revelation Principle: 显示原理

• 至今为止我们都主要研究DSIC机制
  • ①每个竞价者都有一个占优策略
  • ②这个占优策略就是说真话(direct revelation)
• 考虑relax①, 结果需要假设玩家是均衡的(equilibrium)
  • 纳什均衡, 贝叶斯纳什均衡
  • Pros: 有时可以得到更好的均衡表现
• 考虑relax②, 不需要给定①, ②仍然是不失一般性的(WLOG)
• 显示原理:
  • 任意一个拥有guaranteed占优策略的机制$M$, 存在一个均衡的直接显示的(equilvalent direct-revelation, 可以理解为说真话)DSIC机制$M^{\prime }$
  • 证明: by simulation argument
    • 输入n个报价 { v 1 , v 2 , . . . , v n } \{v_1,v_2,...,v_n\} {v1​,v2​,...,vn​}进入$M^{\prime }$, $M^{\prime }$将它们变成 { s 1 ( v 1 ) , s 2 ( v 2 ) , . . . , s n ( v n ) } \{s_1(v_1),s_2(v_2),...,s_n(v_n)\} {s1​(v1​),s2​(v2​),...,sn​(vn​)}后输入$M$, 得到$M$的输出后再由$M^{\prime }$输出最终结果
    • 举个例子: 次价拍卖中将成交价改为第二名报价的两倍, 则每个人的报价将为估值的一半, 即$M$与$M^{\prime }$中的出价总可以映射

      考虑一个拍卖, 所有竞拍方都只知道自己对物品的估值, 拍卖的结果由所有竞拍方的报价决定; 这是一个间接机制, 对物品估值为$a$的竞拍方的策略是报价$f(a)$; 用另一个方式考虑这个拍卖, 竞拍方报出自己对物品的估值, 一个机器或者代理人自动根据报出的估值报价, 这就是直接机制, 竞拍方的策略变成了是否真实报估值;
      显示原理就是任何间接机制都可以以上述这种方式等价于一个直接机制; 直接机制比间接机制方便研究, 所以显示原理很重要;

3. Revenue Maximization: (卖家)收益最大化(Slide P.33)

• 至今为止, 我们只考虑了社会福利最大化的拍卖
• 为什么?
  • DSIC
  • sourplus是特殊的, 甚至事后(ex-post)也是最大化的(若所有的报价都是实现知道的)
• Example: 一个竞价者, 一个物品
  • DSIC拍卖为拍卖(posted price) $r$
  • 收益revenue R ∈ { r , 0 } R ∈ \{r, 0\} R∈{r,0}, 即$v\ge r$时为$r$, 反之为零
  • 为了最大化收益, 如果我们知道$v$, 那就设成$r=v$
  • Upshot: 对于收益来说, 不同的拍卖在不同的输入上做得更好
  • 所以需要一个模型来解释(reason about)不同输入间的trade-off
  • Bayes Analysis: 贝叶斯分析
    • 单变量环境
    • $v_i$是从分布$F_i$中采样得到的, 取值范围$[0,v_{max}]$
    • $F_i$都是独立的, 对于机制设计者是可知的, 但是实际估值$v_i$都是不可知的
    • 最大化期望收益
    • Example: 一个竞价者, 一个物品
      • 期望收益是$r(1-F(r))$
      • 若$F$为$Uniform[0,1]$则$r^{\ast }=0.5$
    • Example: 两个竞价者, 一个物品
      • 已知$v_1,v_2\sim Uniform[0,1]$
      • Vickrey次价拍卖的收益为$E[min(v_1,v_2)]=\frac{1}{3}$
      • 假若我们设定一个起拍价格$0.5$, 则可以得到$\frac{5}{12}$的期望收益
• 目标: characterize最优拍卖
  • ①revelation principle⇒可以restrict to direct-revelation
    • $(X,p)$==>总是假设$b=v$
    • Revenue: $E_{\vec{v}}({\sum }_{i=1}^n{p}_i(\vec{v}))$
  • ②拍卖期望收益的重要公式
    • 回顾: Myerson’s payment formula
      • $p_i(\vec{v})={\int }_0^{v_i}z\ast X_i^{\prime }(z,{\vec{v}}_{-i})dz=v_i\ast X_i^{\prime }(\vec{v})-{\int }_0^{v_i}{X}_i^{\prime }(z,{\vec{v}}_{-i})dz$即为$X_i(z)$关于$z$的曲线左边的面积
  • (详细推导Slide P.38-40)固定$i$和$v_{-i}$, 有
    $$\begin{gathered} E_{v_i\sim F_i}[p_i(\vec{v})]={\int }_0^{v_{max}}{p}_i(\vec{v})f_i(v_i)d{v}_i \\ ={\int }_0^{v_{max}}[{\int }_0^{v_i}z{X}_i^{\prime }(z,{\vec{v}}_{-i})]f_i(v_i)d{v}_i \\ ={\int }_0^{v_{max}}[{\int }_z^{v_{max}}{f}_i(v_i)])z{X}_i^{\prime }(z,{\vec{v}}_{-i})d{v}_i \\ ={\int }_0^{v_{max}}(1-F_i(z))z{X}_i^{\prime }(z,{\vec{v}}_{-i})dz \\ =(1-F_i(z))z{X}_i(z,{\vec{v}}_{-i}){|}_0^{v_{max}}-{\int }_0^{v_{max}}{X}_i(z,{\vec{v}}_{-i})d(z(1-F_i(z))) \\ =-{\int }_0^{v_{max}}{X}_i(z,{\vec{v}}_{-i})(1-F_i(z)-z{f}_i(z))dz \\ ={\int }_0^{v_{max}}[z-\frac{1-F_i(z)}{f_i(z)}]f_i(z)X_i(z,{\vec{v}}_{-i})dz \end{gathered}$$
  • 定义virtual valuation ${\varphi }_i(z)=z-\frac{1-F_i(z)}{f_i(z)}$
    • 在均匀分布中有$F_i(z)=z$, $f_i(z)=1$, ${\varphi }_i(z)=z-\frac{1-z}{1}=2z-1$
  • 有$E_{v_i}[p_i(\vec{v})]=E_{v_i}[{\varphi }_i(v_i)\ast X_i(\vec{v})]$对于任意的$i,{\vec{v}}_{-i}$
  • apply$E_{{\vec{v}}_{-i}}$到$E_{\vec{v}}[p_i(\vec{v})]=E_{\vec{v}}[{\varphi }_i(v_i)\ast X_i(\vec{v})]$
  • 由期望的线性, 有
    $$\sum _{i=1}^n{E}_{\vec{v}}[p_i(\vec{v})]=\sum _{i=1}^n{E}_{\vec{v}}[{\varphi }_i(v_i)\ast X_i(\vec{v})]=E_{\vec{v}}[\sum _{i=1}^n{\varphi }_i(v_i)\ast X_i(\vec{v})]$$
    • i.e. 期望revenue 等于 期望的virtual surplus（EXPECTED REVENUE = EXPECTED VIRTUAL VALUE）
    • 我们的想法就是逐点最大化这个式子, 比如对于每个$\vec{v}$, 定义$X(\vec{v})$来最大化${\sum }_i^n{\varphi }_i(v_i)X_i(\vec{v})$
    • i.e. 拍卖赢家是有最高${\varphi }_i(v_i)$的竞价者, 或者没有赢家如果所有的${\varphi }_i(v_i)$都是小于零的
    • Catch: is the rule $X$ monotone? 即$\varphi$是单调的吗?
    • 事实上${\varphi }_i(v_i)$总是单调的, 上面的均匀分布的结果是$2z-1$即为单调, 这并非偶然
    • 定义: $F$是常规的(regular), 若${\varphi }_F(z)=z-\frac{1-F_i(z)}{f_i(z)}$是严格递增的
    • Note: 假设$F$是常规的且是独立同分布的, 即所有人的估值分布都是一样的, 则highest valuation($\varphi$) <==> highest virtual value($v$)
    • 对于iid的常规竞价者, Vickrey of reserve price ${\varphi }^{-1}(0)$
    • 即两个人都比${\varphi }^{-1}(0)$低就不卖, 有一个高于则按照较低出价者的出价来成交
    • 但是有可能$\varphi$与$v$并非是同大同小的, 这可能是不公正的

课后习题

1. 背包问题中的社会福利最大化规则是单调的(事实上这对于一切单变量环境都是单调的)==>由Myerson’s Lemma给出付款规则$p$使得$(x,p)$是DSIC的

• 给定$i,{\vec{b}}_{-i}$如果$X_i(b_i)=1$则$p_i(b)=$ critic bid $=i$竞价者赢得拍卖的最低出价, 曲线左边的面积是竞价者剩余

2. 证明背包问题的贪心算法是2-approx的

• 提示: $v(A)={\sum }_{i\in A}{v}_i,v(B)=v_{max}==>v(A)+v(B)\ge OPT$
• slide P.31

3. 背包问题的贪心算法是可以推导出一个单调的分配规则, 即竞价者仍然是出价越高或单位出价越高越容易得到更高的效用==>由Myerson’s Lemma可以给出付款规则$p$使得$(x,p)$是DSIC的

• 单调的情况下意味着付款规则对于每个竞价者都存在一个critic bid使得高于该报价获胜, 低于该报价是失败的

---

Lecture 4

1. 上集回顾

• $[{\sum }_{i=1}^n{p}_i(\vec{v})]=E_{\vec{v}}[{\sum }_{i=1}^n{\varphi }_i(\vec{v})X_i(\vec{v})]$
• EXPECTED REVENUE = EXPECTED VIRTUAL WELFARE
• ${\varphi }_i(v_i)=v_i-\frac{1-F_i(v_i)}{f_i(v_i)}$ 严格单调增
• 要求分布$F_i$是regular的
• 如果virtual welfare最大化分配规则是单调的, 则它是最优的
• 应用: 单品拍卖, iid分布的regular竞拍者, 最优拍卖为Vickrey+reserve_price(${\varphi }^{-1}(0)$)
• 举例: 若两个竞拍者A的分布为Uniform[0,2], B的分布为Uniform[0,3], A真实出价为2, B真实出价为2.4, 则算下来A的virtual revenue为2, B为1.8. 因此A赢得了拍卖, 付款为1.9, 因为A只要报出1.9就仍然可以赢B, 所以对于A来说Allocation Function在1.9处发生跳跃, 左侧面积刚好为1.9, 即为critic bid
  • 因此myerson理论在实际中存在缺陷, 出价低的人反而赢得了竞拍, 且付款额是一个很奇怪的数字
  • 因此我们希望找到一个更简单, 更实际, 更鲁棒的拍卖
  • 引出计算机领域的一个拍卖, 即牺牲一些社会福利, 如只要80%的福利, 但是我可以取得接近最优解的结果

2. Prophet Inequality 先验不等式

• 一个有$n$轮的博弈
• 在第$i$阶段, 会提供一个价值为${\pi }_i$的奖励 ${\pi }_i\sim G_i$, 其中分布$G_i$是已知的(且各个阶段的prize相互独立)
• 玩家在看到${\pi }_i$后, 可以接受(则博弈停止)或者继续, 最终要最大化自己的收益
• 定理[Samel-Cahn’ 84]： 存在一种策略, 使得期望收益不小于$\frac{1}{2}{E}_{\vec{\pi }}[{\max }_i{\pi }_i]$, 即至少为可能最优解的一半, 只要使用一个阈值策略, 即接受${\pi }_i$一旦${\pi }_i\ge t$, $t$为给定的阈值
  • 证明:
    • 定义符号 z + = max ⁡ { 0 , z } z^{+}=\max\{0,z\} z+=max{0,z}, 考虑一个阈值$t$, 使得$q(t)=Pr({\pi }_i<t,\forall i)$
    • ① $E[$以$t$为阈值的收益]$$\begin{gathered} =t(1-q(t))+\sum _{i=1}^n{E}_{{\pi }_i}[{\pi }_i-t|{\pi }_i\ge t,{\pi }_j<t,\forall j<i]\cdot Pr({\pi }_i\ge t)\cdot Pr({\pi }_j<t,\forall j<i) \\ \ge t(1-q(t))+\sum _{i=1}^n{E}_{{\pi }_i}[{\pi }_i-t|{\pi }_i\ge t]\cdot Pr({\pi }_i\ge t)\cdot Pr({\pi }_j<t,\forall j\ne i) \\ =t(1-q(t))+\sum _{i=1}^n{E}_{{\pi }_i}[({\pi }_i-t{)}^{+}]\cdot Pr({\pi }_j<t,\forall j\ne i) \\ \ge t(1-q(t))+\sum _{i=1}^n{E}_{{\pi }_i}[({\pi }_i-t{)}^{+}]\cdot q(t) \end{gathered}$$
    • ② $E[{\max }_i{\pi }_i]=E[t+{\max }_i({\pi }_i-t)]=t+E[{\max }_i({\pi }_i-t)]\le t+E[{\max }_i({\pi }_i-t{)}^{+}]\le t+{\sum }_{i=1}^{n}E[({\pi }_i-t{)}^{+}]$
    • 对比①②两种不同方式的放缩结果, 设置$t$使得$q(t)=\frac{1}{2}$就可以证明定理成立

3. 应用:

• 单品拍卖
• regular的分布$F_1,F_2,...,F_n$
• 考虑${\pi }_i={\varphi }_i(v_i{)}^{+}$作为第$i$轮的奖励
• 由Myerson的理论知最优期望收益$=E_{\vec{v}}[{\sum }_i{\varphi }_i(v_i)X_i^{\ast }(\vec{v})]=E_{\vec{v}}[{\max }_i{\varphi }_i(v_i{)}^{+}]$
• Simple action: 目前并没有一个确切的定义说什么样的拍卖机制是相对simaple的, 但我们可以相信这种拍卖机制比Myerson的virtual welfare拍卖要相对simple
  • 选择$t$使得$Pr(\max {\varphi }_i(v_i{)}^{+}\ge t)=\frac{1}{2}$
  • 将奖励商品授予一个${\varphi }_i(v_i)>t$的竞拍者(if any, 有virtual value都大于$t$的就随便给了)
  • Observation about the P.I.
    • 假设${\pi }_i\ge t$对于多个$i$, 确保满足即使策略会选择最差的那个竞拍者
    • by P.I. 这个Simple action期望的virtual surplus不小于实际最优解的一半
  • Implement: 实现这个拍卖
    • ① 设置reserve price $r_i={\varphi }_i(t)$, 来筛去那些低于阈值的竞拍者
    • ② 将商品给到剩余竞拍者中出价最高的那个人即可(if any)
    • ③ 最后按照次价付款即可
    • 这个机制唯一不好的地方就是存在价格歧视
  • 进一步地, 如果$n$个分布$F_1,F_2,...,F_n$对于卖方来说未知, 这称为prior-independent auction, 本节不讨论

4. 定理[Bulow-Kemperer](Slide P.48): 单品拍卖, n个 iid regular的分布$F$, 有EXPECTED REVENUE OF VICKREY(有$n+1$个人的拍卖) >= EXPECTED OPT UNDER F(有$n$个人的拍卖)

• 即有$n+1$个人的二价拍卖最有期望收益不小于$n$个人的最优解, 且VA的收益为${\varphi }_i(0)$
  • Slide的表述: That is, $OP{T}_F$ is the Vickrey auction with the monopoly reserve price ${\varphi }_i(0)$, where $\varphi$ is the virtual valuation function of $F$
• 推论: 额外的竞争比最优拍卖格式更加重要
• 证明:
  • 定义拍卖$A$(with $n+1$ 个竞拍者)
    • ① 现在模拟OPT在$n$个bidders中: 1,2,…,n
    • ② 如果在①中没有卖出去, 将商品免费送给第$n+1$个bidder,
  • Note: $A$的期望收益与OPT相同(有$n$个bidders)
  • Note: $A$总是会分配商品
  • Note: $A$是一个DSIC的拍卖机制
  • 作为结束, 声称Vickrey最大化了期望收益在所有的拍卖中, 并且能够总是卖出商品
  • $E_{\vec{v}}[\sum p_i(\vec{v})]=E_{\vec{v}}[{\sum }_i{\varphi }_i(v_i)X_i(\vec{v})]\le E_{\vec{v}}[{\max }_i{\varphi }_i(v_i)]$ if always saling,
    • 第一个等号是对$A$而言: EXPECTED REVENUE=EXPECTED VIRTUAL VALUE
    • 不等式右端其实就是Vickrey
    • ${\sum }_i{X}_i(\vec{v})=1,\forall \vec{v}$
  • 原因: 为了最大化收益使得总是卖出商品, 则分配给竞拍者with最高的${\varphi }_i(v_i)$
  • Vickrey将商品给到竞拍者with最高的$v_i$

5. 更一般的多变量机制设计

• $n$个竞拍者
• 有限集合 $\Omega$ of outcomes
• $i$有一个私有的估值$v_i(\omega )$ 对于每个$\omega \in \Omega$
• 定理[Vickrey Clarke Graves]: 在每个环境中, 都有一个DSIC surplus-maximizing 机制
  • 这里并不能保证一定有一个多项式时间内能计算出的机制, 即relax了第三点
  • 证明:
    • ① 假设每个人都还是诚实竞价(truthful bids): { b ⃗ i } ∣ 1 n \{\vec b_i\}|_{1}^{n} {b i​}∣1n​, 其中${\vec{b}}_i$根据$\Omega$来索引, 注意这里的每个人的报价已经是要报出一串数, 而非一个数
      • 定义分配规则: $X(\vec{b})=\underset{\omega \in \Omega }{\mathrm{argmax}}{\sum }_{i=1}^n{b}_i(\omega )$
    • ② 定义付款规则来达到DSIC: 前提要求分配规则是单调的
      • 问题: 单调分配规则的定义并不明确
      • 想法: 经济学上的外部性, 及向竞拍者$i$要价externality
        • $P_i(\vec{b})={\max }_{\omega \in \Omega }{\sum }_{j\ne i}{b}_i(\omega )-{\sum }_{j\ne i}{b}_j({\omega }^{\ast })$
        • ${\max }_{\omega \in \Omega }{\sum }_{j\ne i}{b}_i(\omega )$是如果$i$不在市场里面其他人的surplus是多少
        • ${\sum }_{j\ne i}{b}_j({\omega }^{\ast })$是如果$i$在市场里面其他人的surplus是多少, 其中${\omega }^{\ast }=X(\vec{b})$
        • 即由于$i$的存在, 其他人的surplus变差了多少, 则$i$需要付出多少钱
      • 证明这种外部性的想法是正确的: 即证明这种VCG的机制是DSIC的(surplus maximizing)
        • 固定$i,{\vec{b}}_{-i}$, 其中${\omega }^{\ast }=X(\vec{b})$, 第$i$个人的效用$=v_i(\omega )-p_i(\vec{b})=[v_i(\omega )+{\sum }_{j\ne i}{b}_j(\omega )]-{\max }_{\omega \in \Omega }{\sum }_{j\ne i}{b}_j(\omega )$
        • 注意${\max }_{\omega \in \Omega }{\sum }_{j\ne i}{b}_j(\omega )$这部分与${\vec{b}}_i$是独立的
        • Best case for $i$, 机制挑选${\omega }^{\ast }\in \underset{\omega \in \Omega }{\mathrm{argmax}}[v_i(\omega )+{\sum }_{j\ne i}{b}_j(\omega )]$
        • VCG做了什么? VCG选择${\omega }^{\ast }\in \underset{\omega \in \Omega }{\mathrm{argmax}}{\sum }_{j=1}^n{b}_j(\omega )$
        • 从而推导出bidding${\vec{b}}_i={\vec{v}}_i$导致这个发生, 如果真实报价的话, VCG的选择就是你真实的选择
  • 另一种推论解释:
    • $p_i(\vec{b})=b_i({\omega }^{\ast })-({\sum }_{j=1}^n{b}_j({\omega }^{\ast })-{\max }_{\omega \in \Omega }{\sum }_{j\ne i}{b}_j(\omega ))$
    • ${\sum }_{j=1}^n{b}_j({\omega }^{\ast })$是有你的社会surplus
    • ${\max }_{\omega \in \Omega }{\sum }_{j\ne i}{b}_j(\omega ))$是没有你的社会surplus
    • 类似一价拍卖, 但是最后会给你一些补偿

---

Lecture 5

1. 回顾VCG：

• 总是可以找到一个DSIC的社会福利最大化机制
• 每个人的付款应该是有他和没有他两种情况下, 整个社会surplus的差值
• VCG举例：
  • Ex1: 单品拍卖
    • 3个bidders, Ω = { \Omega=\{ Ω={allocate to $A,B,C\}$
    • 分配情况收益是分配给$i$的效用$v_i$, 其中 i ∈ { A , B , C } i∈\{A,B,C\} i∈{A,B,C}, 其余情况都是零, 即outcome矩阵是一个对角阵, 对角线上是各个人的valuation
  • Ex2: 双边贸易 Bilateral Trade
    • 一个卖家, 成本$v_S$
    • 一个买家, 估值$v_B$
    • 但是一个中介想要促成交易(但是中介不知道$v_S$和$v_B$, 当然$v_S<v_B$, 否则不应当去促成交易), 由VCG payment来看应当多少钱使得他们都会真实报价?
    • 解决方案: Ω = { \Omega=\{ Ω={成交, 不成交$\}$, outcome矩阵是, 不成交买卖双方都是零, 成交的话卖家为$-v_S$, 买家为$v_B$, 但是用VCG要求矩阵的数值非负, 此时我们将outcome矩阵平移, 即将卖家这行都加上$v_S$(注意我们会选择outcome之和最大的那一种$\omega$, 因此将某个参与者的outcome全都加一个数不影响最终的选择), outcome矩阵又变成了和单品拍卖一样的对角矩阵, $$[(0,-v_S),(0,v_B)]\to [(v_S,0),(0,v_B)]$$
    • VCG付款规则: $P_S(v)=h_S(v_B)-u_B({\omega }^{\ast })$, $h_S$是卖家不在时别人的最大值
    • 直观上成交的话应该向卖家收一笔钱, 然后向买家付一笔钱,
    • 注意如果没有成交, VCG应该确保是不付钱$P_S(v)=h_S(v_B)-u_B($不成交$)=0$, 因为$u_B($不成交$)=0$, $则$h_S$应该恒等于0
      • 在上节课里我们看到$h_S$就是${\max }_{\omega \in \Omega }{\sum }_{j\ne i}{b}_i(\omega )$, 是可以随便取的, 但是后面一项不行与$b_i$独立是不行的
    • 对于买家来说很容易证明是DSIC的, 因为诚实报价最优解, 放低报价不会增加收益
    • VCG付款规则: $P_B(v)=h_B(v_S)-u_S({\omega }^{\ast })$, $h_B$是买家不在时别人的最大值
    • 注意如果没有成交, VCG应该确保是不付钱$P_B(v)=h_B(v_S)-u_S($不成交$)=0$, 因为$u_S($不成交$)=v_S$, 则$h_B$应该恒等于$v_S$
    • 郭远方的一个想法: 中介要使得双方的付款都与他们自己的成本或估值是无关的, 因为要让他们诚实报价
  • Ex3: 造桥(公共品)
    • 造桥成本为$C$
    • 桥造出来对城市中每个人都会有一个效用, 假设有$n$个玩家, 每个人的效用是$v_i$
    • 直观上应该是当${\sum }_{i=1}^n{v}_i\ge C$时会造桥, 那么政府应当如何向这些人收钱?
    • ① 一种特殊情况: $C=100$, $n=200$, $v_i=1$
      • 因为无论有没有某个$i$, 决策是不会变的(199>100), 因此根据VCG来说是不付钱的
    • ② 一种特殊情况: 将①中的某个$i$的效用是50, 其余99个人都是1, 那么向这个效用50的应当给他1块钱
    • 用VCG研究这个场景时应当去把政府也作为一个玩家加进来, 造桥的outcome是$-C$, 不造是0, 因此在②中应当是向这个效用50的人付款1元(有他就造, 其余人总效用为-100+99, 没有他就不造, 其余人效用为0, 发现效用变好了, 所以要付给他1块钱)
  • Ex4: 在一个网络图中买一条路径
    • 有向图中的每条边是一个player, 它会有一个cost, 起始点为$s$, $t$
    • VCG的思想就是有这条边和没有这条边有多大路径增长, 以此来对每条边付钱
    • 以下面这个图为例: V = { A , B , C , D , E , F } V=\{A,B,C,D,E,F\} V={A,B,C,D,E,F}, E = { ( A , B , 3 ) , ( B , D , 2 ) , ( D , F , 2 ) , ( A , C , 2 ) , ( C , E , 3 ) , ( E , F , 1 ) , ( B , E , 1 ) , ( C , F , 5 ) } E=\{(A,B,3),(B,D,2),(D,F,2),(A,C,2),(C,E,3),(E,F,1),(B,E,1),(C,F,5)\} E={(A,B,3),(B,D,2),(D,F,2),(A,C,2),(C,E,3),(E,F,1),(B,E,1),(C,F,5)}
      • 最优解$ABEF$, 成本为5
      • 当缺少$AB$时变成$ACEF$, 成本为6, 因此付给$AB$是$6-2=4$, 因为$ABEF$中要把$AB$扔了
      • 同理给$BE$的付款为2, 给$EF$的付款为3

2. 介绍一些VCG失败的场景

• Ex1
  • $n$个bidders
  • M = { 1 , 2 , . . . , m } M=\{1,2,...,m\} M={1,2,...,m}是物品集合
  • Ω = { ( S 1 , S 2 , . . . , S n ) } \Omega =\{(S_1,S_2,...,S_n)\} Ω={(S1​,S2​,...,Sn​)}为outcome, 注意不一定所有的物品都会被卖出去, $S_i$包含于$M$代表第$i$个人的bundle
  • 第$i$个bidder有一个私有的估值$v_i(S)$对于每个bundle $S$包含于$M$
    • $v_i(\varnothing )=0$
    • $v_i(S)\ge v_i(T)$若$T$包含于$S$
  • surplus目标函数: ${\sum }_{i=1}^n{v}_i(S_i)$
  • VCG无法计算这个问题:
    • ① 该问题求解是NP-hard, 难以求解目标函数最优解
    • ② 难以收集bid, 因为当有$m$个物品时每个bidder需要提供$2^m$个报价
      • 因此引出ascending auctions: learn info on “need-to-know” basis, indirect auction
    • ③ 即时①②都不是问题, VCG可能有一个坏的收益属性
      • 举例说明: 比如只有两个物品 { A , B } \{A,B\} {A,B}, 两个bidder
      • bidder 1: $v_1(AB)=1$, 其余为0
      • bidder 2: $v_2(AB)=v_2(A)=1$, 其余为0
      • 显然VCG revenue为1, 不管踢掉哪个bidder, outcome差都是1
      • 假设现在加入一个bidder 3: $v_3(AB)=v_3(B)=1$, 其余为0, 此时会把商品分给2和3, 但是此时revenue掉到了0, 多出一个人反而使得revenue减少了
      • 结论: VCG很容易使得bidder间发生勾结
    • ④ Relaxing DSIC 使得能导致一个新的gaming possibilities
      • Ex[Cromton/Schwartz '02] 频谱拍卖: 如5G的频段拍卖
        • #378 Rochester, USWest and Mcleod
        • 一种简单的解决方案: 本来我有几百个东西一起卖, 现在我分下来卖, 转化成单品拍卖
          • 注意拍卖顺序会对结果产生影响的
          • ① 单品拍卖总是生效吗?
            • A. 若商品是(mostly)替代品, 则大概有$v(AB)\le v(A)+v(B)$, 比如同一个地区的5G执照, 这种情况下分开卖一般不会影响revenue
            • B. 若商品是互补品, 则会有$v(AB)\ge v(A)+v(B)$, 比如不同地区的5G执照, 这种情况下就很有意思了
            • 错误1: 序列式的拍卖 sequentially auction
              • 一种简单的案例:
                • 相同的商品, 每个bidder只想要其中一个
                • 问题: 不是DSIC的, 需要猜测拍卖价格, 比如估值最高者未必会在第一轮进场, 因为如果估值第二高者第一轮进场, 最高者第二轮进场就可以至多以第三高价成交
                • Ex: Swiss 2000 March ① 28MHZ block (121 mil) ② 28MHZ block (134 mil) ③ 56MHZ block (55 mil) <-- double bid
            • 错误2: 密封式拍卖 sealed auction
              • Ex: NewZealand 1990 roughly identical goods, 一个bidder可能会要多个商品
                • 使用同时的二价密封拍卖, 即bidder要同时提交所有商品的竞价
                • 对于bidders来说很难来玩这个博弈, 新西兰政府预计能收到250mil, 但是结果只收到了36m
                • 有一场, 第一名出了十万, 第二名出了6块, 结果第一名只需要付出6块就可以拿到商品
                • 一种解决方案是不要次价拍卖, 就用一价拍卖来搞, 但是仍然会有一些问题

3. 解决上面频谱拍卖的目前一个解决方案: Simultaneous ascending auction (SAA)

• 每一轮, 每个bidder可以对任何一个商品集合的子集进行报价
• 最高报价的bidder和他的bid将被展示
• 当某一轮没有人再出价, 结束拍卖
• 行动规则: roughly, number of items you are bidding on only drops with time
• Big win: price discovery
• 举个例子: 2个相同商品, 3个bidders, 其实本质上大家都会在较低的那个商品上竞价, 两个商品会稳步上升, 直到超过第三名的估值
  • allows mid-course corrections: 允许中间修正
  • fixes miscoordination with smaller goods: 修正竞价低的商品的不协调性
  • minor merit: valuation discovery
• 总体来说, SAA运行的还不错, 现在美国政府基本都按照SAA来竞拍
  • 接近最优的剩余(near-optimal surplus): 事实上其实很难评价是否接近最优, 甚至最优是什么都难以有定论, 不过是可以通过一些现象来评价:
    • no resale: 没有发生转卖
    • similar price: 竞拍价格类似
    • bidders get closed areas: bidder都拿到了离他们较近的区域
• 问题:
  • ① demand reduction
    • 2个相同商品, 2个竞拍者(好像只卖出一个)
    • $v_1(1)=10$, $v_1(2)=20$, $v_2(1)=v_2(2)=8$, VCG显然会把两个商品都给到bidder 1, MAX Surplus为20, VCG revenue为8
    • SAA的情况下bidder 2不会drop out除非both prices都超过了8
      • 于是bidder 1会付16块钱for both
      • better to target 1 good $\to$ both sold at price 0
      • 于是两个人就不抢了, 分别在两个商品上bid 0
  • ② 暴露出的问题: Exposure problems (when goods are conplements)
    • Example: 两个商品
      • $v_1(AB)=100$, 其余为零
      • $v_2(AB)=v_2(A)=v_{(}B)=75$
      • Max Surplus$=100$, VCG revenue$=75$
      • SAA: bidder 1 担心输, 所以会可能超过估值报价

---

Lecture 6

1. Problem Set 1 解析

• 第一题:
  • (a): 本质只要证明每个人出价是$(1-\frac{1}{n})v_i$是一个纳什均衡;
    • bidder $i$ value $v_i$ 其他bidders的bidding策略是$(1-\frac{1}{n})v_j$(对于bidder $j$)
    • 有$E_{{\vec{v}}_{-i}}[$utililty that $i$ bidding $z]=(v_i-z)\mathrm{Pr}[i$ wins$]=(v_i-z)\mathrm{Pr}[z>(1-\frac{1}{n})v_j]=(v_i-z){\prod }_{j\ne i}\mathrm{Pr}[v_j<\frac{z}{1-\frac{1}{n}}]=(v_i-z)(\frac{z}{1-\frac{1}{n-1}}{)}^{n-1}$
    • 显然当$z=(1-\frac{1}{n})=v_i$是取到最大值, 求导或用不等式皆可;
  • (b): 如果所有bidders的values是iid服从分布$F$, 则$b_i(v_i)=E[{\max }_{j\ne i}|v_i\ge v_j\forall j]$
    • 假设bidder $i$ 的bid是$b_i(z)$, 有$E[$utility of bidding $b_i(z)]=(v_i-b_i(z))\mathrm{Pr}[b_i(z)>b_j(v_j)\forall j\ne i]=(v_i-b_i(z))F^{n-1}(z)$
    • 注意到$$\begin{gathered} b_i(z) \\ =E[\underset{j\ne i}{\max }{v}_j|z\ge v_j\forall j] \\ ={\int }_0^z[1-(\frac{F(t)}{F(z)}{)}^{n-1}]dt \\ =\frac{1}{F^{n-1}(z)}{\int }_0^z[F^{n-1}(z)-F^{n-1}(t)]dt \\ =F^{n-1}(z)v_i-{\int }_0^z[F^{n-1}(z)-F^{n-1}(t)]dt \\ =F^{n-1}(z)v_i-z{F}^{n-1}(z)+{\int }_0^z{F}^{n-1}(t)dt \end{gathered}$$
    • 对上式求导化简有$(n-1)F^{n-1}(z)f(z)(v_i-z)$在$z=v_i$时取得极值;
  • ©: 显然都是相同的, 其实Myerson理论中, BNE条件下, virtual valuation与welfare两者期望都是相同的;
• 第四题:
  • (a): 反证法即可, 利用课上证明的不等式;
  • (b): 构造一个两轮的game, 第一轮是常数1, 第二轮是二项分布, $1-\frac{1}{p}$的概率得到$0$, $\frac{1}{p}$的概率得到$p$, 则可以证明当$p\to \infty$时, approx是趋于$frac12$的, 所以$frac12$是无法被提升的;
  • ©: 提示 $1-G^n(x)=G^{n-1}(x)$, 显然$G^{n-1}(x)$一定是比$\frac{1}{2}$要大一些
    • 事实上这是一个著名的停时问题, 最新研究的文献其上限可以证明到0.74以上; 不过老师给的参考答案是$1-\frac{1}{e}$的版本:
    • $E[$payoff of $t$-threshold$$\begin{gathered} ]\ge (1-q(t))t+{\sum }_{i=1}^{n}E[({\pi }_i-t{)}^{+}]\mathrm{Pr}[{\pi }_j<t,\forall j<i]] \\ =(1-F^n(t))t+{\sum }_{i=1}^{n}E[({\pi }_i-t{)}^{+}]F^{i-1}(t) \\ =(1-F^n(t))t+\frac{1-F^n(t)}{1-F(t)}E[(\pi -t{)}^{+}] \\ \ge (1-F^n(t))t+\frac{1-F^n(t)}{n(1-F(t))}E[{\max }_i({\pi }_i-t{)}^{+}] \end{gathered}$$
    • 又有$E[{\max }_i{\pi }_i]\le t+E[{\max }_i({\pi }_i-t{)}^{+}]$, 取$t$使得$F(t)=1-\frac{1}{n}$即可, 则$1-F^n(t)=1-(1-\frac{1}{n}{)}^n\ge 1-\frac{1}{e}$

2. 回顾类线性(quasi-linear)效用: $v_i(\omega )-p_i$

• 这对payments是没有约束的;
• 预算约束(budget constraints): max-possible payment by $i$
• Example: 搜索引擎关键词拍卖(keyword auction)
  • budget1: bid-per-click
  • budget2: daily budget
  • 添加一些其他的budget:
    • $v_i(\omega )-p_i$, 若$p_i\le B_i$
    • $-\infty$, 若$p_i>B_i$
  • Example: 这种情况下不能最大化surplus(expost)
    • 单品拍卖(single-item auction): 我有很高的valuation, 但是我付不出这么高的价钱, 是否还能有一种拍卖机制使得将物品分配得到最大的surplus的
    • 事实上这是不可能的
    • 比如$B_i=1\forall i$, 有一个private valuation
    • 需要一个新的拍卖机制
  • Example: The Clinching Auction
    • [Ausubet 04] [Dobzinski et al 08]
    • Setup:
      • $m$个相同的商品;
      • 对于每个bidder $i$, 有个private的valuation, 且有一个public的预算$B_i$
    • Initial Idea: 使用一个market-cleaning price
      • 定义$i$的在价格为$p$时的需求:
        • D i ( p ) = min ⁡ { m , f l o o r ( B i p ) } D_i(p)=\min\{m,{\rm floor}(\frac{B_i}{p})\} Di​(p)=min{m,floor(pBi​​)}, 若$p<v_i$, $\mathrm{f}\mathrm{l}\mathrm{o}\mathrm{o}\mathrm{r}$函数是向下取整
        • $D_i(p)=0$, 若$p>v_i$
        • 注意: 其实这个第一段需求函数跟valuation并没有什么关系, valuation只影响整体需求函数在哪里被砍断, $p$一旦超过了$v_i$这个机制就跟你没有关系了;
      • 注意到$D_i$是关于$p$单调递减的, $D_i(0)=m,D_i(+\infty )=0$
        • 思考: $D_i$的形态大致是怎么样的?
      • 令$p^{\ast }$是最小的$p$使得$m={\sum }_{i=1}^n{D}_i(p)$
      • 对于任意$i$, 给$i$的商品数为$D_i(p^{\ast })$, 要价为$p^{\ast }$
      • 好消息是Budget Respected
      • 坏消息是这并不是DSIC(约等于demand reduction)
      • Example: $m=2,B_1=+\infty ,v_1=6,B_2=v_2=5$
        • 假设bidder1出价6, bidder2出价5, 则bidder1可以得到2个物品, 效用为$2(6-5)=2$
        • 假设bidder1出价3, bidder2出价5, 则bidder1只会拿到1个物品, bidder2也只会拿到1个物品, 要价将会是3(思考), 对于bidder1来说效用为$6-3=3$, 说假话效用却变高了;
    • 上面都是错误的想法, 回到The Clinching Auction
      • 初始化$p=0,s=m$
      • while $s>0$ {增加$p$, 直到存在$i$使得$s-{\sum }_{j\ne i}{D}_j(p)>0$}
        • 即不断增加$p$直到没有bidder $i$时, 物品卖不完;
      • 给bidder $i$一共$k$个物品, 要价为$p$, 这些商品就是clinched
      • decrease $S$ by $k$
      • decrease $B_i$ by $pk$
      • 回到刚才两个例子: $m=2,B_1=+\infty ,v_1=6,B_2=v_2=5$
        • 显然$p=0$时两人都要两个
        • 当$p$增加到2.5时就会触发, 因为bidder2只能买一份了, 没有bidder1就卖不光了;
        • 当$p$增加到5.0时就会触发, 因为bidder2一份都买不起了, 两份都给bidder1;
        • 真实报价情况下, bidder1会获得两个物品, 一个价格是2.5, 另一个价格是5;
    • 定理: Clinching Auction is DSIC
      • 证明:
        • 固定$i,{\vec{b}}_{-i}$, 商品将会clinched当$p<v_i$, contribute positive utility, 反之$p>v_i$时, contribute negative utility
        • 注意: kick out when $p=b$
          • 当$b_i<v_i$, 算法执行结果都相同, 直到$p=b_i$, 当$i$被kick out $\Rightarrow$ can only lose goods with positive utility
          • 当$b_i>b_i$, 是类似的
      • 推论: Clinching Auction is DSIC, 但是这个命题本身没有任何含义, 因为我直接把商品免费送给bidder也是一个DSIC的拍卖
      • 目前大家都不知道Clinching Auction到底好不好, 不知道如何用理论来刻画

---

Lecture 7

Lecture 7是最后一节与机制设计相关的课程, 接下来的课程将与是与BOA相关

1. 引入: 很多场景是不能用money来衡量的:

• 器官捐赠
• 投票选举
• 摇号上学

2. 房屋分配问题(House Allocation Problem):

• $n$个agent, 每个agent有一个房子
• 每个agent对于这些房子有一个偏好顺序
• 如何重新分配这$n$个房子?
• Top Trading Cycle Algorithm (TTCA)

  while agents remain:
  	1. each remaining agent points to favorite remaining house // 画出一个有向图表示这个favorite的情形, 可以证明这个图中必有环(指向自己视为环)
  	2. pick one cycle and its reallocation
  	3. delete its node
  	4. terminate with one house per person
  

• 显然这个机制不会使得任何人的结果变差, 因为只要你还在这个机制中, 你和你的房子都还在, 而你被删除时一定可以得到一个比自己房子更好的房子
• 定理7.1: with private preferences, TTCA is DSIC
  • 证明:
    • 固定$i$和其他人汇报的最喜欢的房子列表
    • 假设$i$是诚实汇报, TTCA选出一个cycle: $N_1,N_2,...,N_{l}i\in N_j$
    • 显然如果$i$不诚实汇报, 它不可能挤进除$N_j$外的其他任何一个环中, 这是无法改变既定现实的, 所以不诚实汇报对于$i$来说是没有意义的
• 定义: 核心分配core allocation
  • 称一个分配方式是core allocation, 若它使得所有agents不能通过内部交换(重新分配)以达到所有成员都取得比该分配方式更好的结果(部分变好也可以, 但是不能有人变差)
• 定理7.2: TTCA得到的分配方式是一个唯一的core allocation
  • 证明:
    • 一方面: 证明TTCA的分配结果是core allocation
    • 令$S$是所有agents集合的任意子集, 我们证明在$S$上不存在更好的分配方式
    • $N_1,N_2,...,N_l$, 令$j$是第一次发生的迭代使得$N_j\cap S\ne \varnothing$且$i\in N_j\cap S$
      • 则可以推导出$i$在$N_1,N_2,...,N_{j-1}$之外得到的最好的房子
    • Note: $S$中没有agents属于$N_1,N_2,...,N_{j-1}$
      • $S$中不存在重新分配使得$i$能够获得严格更好的结果
    • 另一方面: 证明TTCA分配结果是唯一的core allocation
    • 所有在$N_1$的agent receive their first choice and must be true in any core allocation
    • 同理$N_2,N_3,...$, 唯一性可证
    • 简而言之, 就是说第一轮迭代找到环里的人不会改变自己的结果, 同理排除掉这些人, 第二轮迭代的人也不会改变, 这是一个递归过程

3. 案例分析: 肾脏交换(Kidney Exchange)

• old idea: deceased donors(如死刑犯, 濒死病危之人)
• also for kidneys, living donors(人有两个肾, 可以捐献一个)
• 问题: patient-donor imcompatibilities [Slide P.75 Figure 1]
  • 每个patient都会有一个donor给他捐肾脏, 但是因为血型等原因导致肾脏不匹配, 但是可以通过调配来使得所有人得到适应的肾脏
  • Fact: 目前除了伊朗, 器官买卖是违法的
  • [Roth/Sonmoz/Unver '04,'05]
• Idea1: 使用TTCA
  • agent(patient) initial house(donor) $⟺$ imcompatitble PD(patient-donor) pairs
  • total ordering(全序) of houses $⟺$ possibilities of success
  • 重新分配donors的肾脏给patients使得每个人都变得更好
  • 推广[RSU’04]: 有些patients可能没有对应的捐赠者(没有房子的agent), 还有一些deceased donors(空房子), 这其实就比较复杂了, 属于前沿的研究问题, 事实上仍然是DSIC(not trivial)
  • 问题1: TTCA分配方式可能会使用很长的cycle
    • 因为这样需要同一个环内的手术同时进行, 可能会有donor反悔就会导致TTCA失效, 所以需要短的cycle
  • 问题2: patients的偏好一般并非total ordering(全序), 而是binary的
  • TTCA可能很难应用于实际
• Idea2: 使用匹配, 两两配对, 这样就可以做到short cycle
  • nodes: imcompatible PD pairs
  • edges: mutually compatible node pairs
  • 目标是找到一个size最大的匹配(max-size matching)
  • 可以在edge上添加权重, 表示两个PD pairs间匹配度, 此时目标是找到使得总weight值最大的匹配
  • Note: matchings $⟺$ pairwise exchanges
  • Motern approach考虑了3-way exchange, 即可以最多有三对PD间发生交换, 技术上可以实现同时做三台手术
  • 模型:
    • 每个node $i$ 有一个私有的真实edge集合$E_i$, 且在汇报时可以汇报任何$F_i\subseteq E_i$, 即汇报出自己想要和哪些PD pairs交换
    • 目标: DSIC机制要能够使得每个节点$i$汇报出$E_i$
    • 机制: $V$ is known
      • Gets reports $F_i$, $\forall i$
      • Form E = { ( i , j ) : ( i , j ) ∈ F i ∩ F j } E=\{(i,j):(i,j)\in F_i\cap F_j\} E={(i,j):(i,j)∈Fi​∩Fj​}
      • Return a max matching in G
    • 问题: 选择哪一个max matching?
      • 如$G=(V,E)$, V = { 1 , 2 , 3 , 4 } V=\{1,2,3,4\} V={1,2,3,4}, E = { ( 1 , 2 ) , ( 2 , 3 ) , ( 3 , 4 ) , ( 4 , 1 ) } E=\{(1,2),(2,3),(3,4),(4,1)\} E={(1,2),(2,3),(3,4),(4,1)}, 存在两个max matching: $(1,2),(3,4)$和$(1,3),(2,4)$, 事实上两者并没有区别
      • 如$G=(V,E)$, V = { 1 , 2 , 3 , 4 , 5 } V=\{1,2,3,4,5\} V={1,2,3,4,5}, E = { ( 1 , 2 ) , ( 1 , 3 ) , ( 1 , 4 ) , ( 1 , 5 ) } E=\{(1,2),(1,3),(1,4),(1,5)\} E={(1,2),(1,3),(1,4),(1,5)}, 则$1$必然被选上, 而其他4个人就只能随机选了, 他们就会有撒谎的动机
      • 解决方案:
        • 对节点进行预先的优先级排序 O = { 1 , 2 , 3 , . . . , n } O=\{1,2,3,...,n\} O={1,2,3,...,n}, 如有些patient的时间已经不多了, 优先级就会更高
        • 思考: 是否应该以每个节点的度数排序? 度数越多的优先级越高?
        • 令$M_0=$max matchings of $G$
        • 依次遍历集合$O$中的$n$个人:
          • 令$Z_i\subseteq M_{i-1}$是包含节点$i$的一个匹配
          • 设$M_i=Z_i$, 若$Z_i\ne \varnothing$, 否则$M_i=M_{i-1}$
          • 输出$M_n$的任意匹配
        • 举例:
          • 假设图是一个三角形, 三个节点, 三条边
          • M 0 = { ( 1 , 2 ) , ( 1 , 3 ) , ( 2 , 3 ) } M_0=\{(1,2),(1,3),(2,3)\} M0​={(1,2),(1,3),(2,3)}
          • Z 1 = { ( 1 , 2 ) , ( 1 , 3 ) } Z_1=\{(1,2),(1,3)\} Z1​={(1,2),(1,3)}
          • M 1 = { ( 1 , 2 ) , ( 1 , 3 ) } M_1=\{(1,2),(1,3)\} M1​={(1,2),(1,3)}
          • Z 2 = { ( 1 , 2 ) } Z_2=\{(1,2)\} Z2​={(1,2)}
          • M 2 = { ( 1 , 2 ) } M_2=\{(1,2)\} M2​={(1,2)}
          • $Z_3=\varnothing$
          • M 3 = { ( 1 , 2 ) } M_3=\{(1,2)\} M3​={(1,2)}
        • Exercise: 这种解决方案机制的DSIC证明?
  • 这里是2004-2005年的研究成果
• Cutting Edge: getting incentives right for hospitals
  • Example1: 从医院的角度来看, 可能更愿意在同一个医院中匹配掉一些病人, 但是这就会达不到max matching:
    • 如$G=(V,E)$, V = { 1 , 2 , 3 , 4 , 5 , 6 } V=\{1,2,3,4,5,6\} V={1,2,3,4,5,6}, E = { ( 4 , 1 ) , ( 1 , 2 ) , ( 2 , 5 ) , ( 5 , 6 ) , ( 6 , 3 ) } E=\{(4,1),(1,2),(2,5),(5,6),(6,3)\} E={(4,1),(1,2),(2,5),(5,6),(6,3)}, 其中 { 1 , 2 , 3 } \{1,2,3\} {1,2,3}是在同一医院里的, 其他三人在另一个医院, max matching是6个人, 但是同一个医院里处理掉就只有4个人;
  • Example2:
    • 如$G=(V,E)$, V = { 1 , 2 , 3 , 4 , 5 , 6 , 7 } V=\{1,2,3,4,5,6,7\} V={1,2,3,4,5,6,7}, E = { ( 1 , 2 ) , ( 2 , 3 ) , ( 3 , 4 ) , ( 4 , 5 ) , ( 5 , 6 ) , ( 6 , 7 ) } E=\{(1,2),(2,3),(3,4),(4,5),(5,6),(6,7)\} E={(1,2),(2,3),(3,4),(4,5),(5,6),(6,7)}, 其中 { 2 , 3 , 7 } \{2,3,7\} {2,3,7}是同一医院$A$的, 其他4人是另一个医院$B$的
    • max matching是6个人, 但是在$B$医院说真话的情况下, 医院$A$可以选择把$(2,3)$做掉, 然后只报过来一个$7$, 就可以把自己的patients全部处理掉, 同理$B$也有动机去撒谎(把$(5,6)$先做掉), 使得自己医院里的patients全部被处理掉

4. 稳定匹配问题Stable Matching Problem

• 二部图: $U,V,|U|=|V|=n$
• each node has a ranked list for the other side
• 给出一个perfect matching(每个人都被匹配上), 使得没有一对男女node会私奔
• Killer Application
  • 医学院学生选医院
  • 小学生选择小学
• 事实上并非是一个二部图, 可能是一个完全图, 还可能并非两边的节点数量不一致
• 最简单的二部图及节点数量相等的情况的经典婚姻匹配算法(Proposal Algorithm)
  • 单身的男生去追求女生(按照自己的偏好从好到坏依次追求), 女生单身就拿下, 不单身就比一比, 留下更好的男生, 被拒绝的男生将不会再追求该女生
  • 直到所有男女都匹配上结束, 事实上算法将必然结束
• 定理7.3: Proposal Algorithm将会给出一个稳定匹配(不会有狗男女私奔)
  • 首先算法一定会终止, 每轮结束(一轮指所有男生都发起了一次轮询), 单身男生追求的女生list会比上一轮结束时减少, 算法复杂度为$O(n^2)$
  • 其次这将是一个perfect matching, 因为如果存在剩男剩女, 他们没得选必须匹配, 所以一定每个人都将被匹配上
  • 最后证明算法将得到一个stable matching:
    • 显然对于每个男生, 拒绝过他的女生不可能与他私奔(他没有这些女生的当前伴侣好), 他也不可能向未追求过的女生私奔(因为这些女生没有男生现在的伴侣好)
• 推论1: 反直觉地, Proposal Algorithm对男生有利的, 因为男生将最终得到所有稳定匹配中(事实上稳定匹配是不唯一的)可能的最好的女生
  • 证明:
    • 我们希望证明如果一个男生被一个女生拒绝了, 那么在任何稳定匹配中都不会跟这个女生配对
    • 数学归纳法:
      • 假设男生$u$被女生$v$拒绝了, 原因是$v$更喜欢$u^{\prime }$
      • Note: 由归纳假设, 所有$u^{\prime }$可行的(feasible)女生仍然在他的list上, 且$v$是处于top位置
      • 如果$(u,v)$出现在某个稳定匹配中, 那么$u^{\prime }$将匹配到一个比$v$差的女生, 那么此时就会发现$(u^{\prime },v)$是一个blocking pair(会私奔)
• 推论2: 女生得到的结果将是所有stable matching中可能的最差结果
  • 证明: 类似推论1, 略
• Exercise: 证明Proposal Algorithm对男生一侧是DSIC, 但是对于女生一侧不是DSIC
• 因此实际应用中把男生一侧作为学生, 另一侧是医院和学校这样即可

---

Lecture 8

1. 无政府价格(Price of Anarchy, 下称POA)

• POA旨在研究当存在自私的player, 即均衡无效时量化机制的无效性(quantifying the inefficiency of equilibira);

  • when do games in the wild have near-optimal equilibria ?

• 回顾Braess’s Paradox('68)

  • $s\to c(x)=x\to A\to c(x)=1\to t$
  • $s\to c(x)=1\to B\to c(x)=x\to t$
  • 此时均衡是$\frac{1}{2}$的人走$sAt$, $\frac{1}{2}$的人走$sBt$, 平均每人耗时$\frac{3}{2}$
  • 如果新建一条$c(x)=0$的路连接$A\to B$, 则均衡变成了$sABt$, 平均每人耗时$2$
  • 因此后者的POA就是$2÷\frac{3}{2}=\frac{4}{3}$

• 另一个例子: Pigou‘s Example(1920)

  • $s\to c(x)=x^d\to t$
  • $s\to c(x)=1\to t$
  • 如果想要使得所有人的平均cost最小, 则应当分别安排$\frac{1}{2}$的人走两条路径, 平均cost为$\frac{3}{4}$
  • 但是均衡情况(或是自私的情况下)是所有人走前一条路, 平均cost为$1$
  • 同理POA值为$1÷\frac{3}{4}=\frac{4}{3}$

• 是否任意网络的POA都不会比$\frac{4}{3}$大? 看下面这个网络:

  • $s\to c(x)=x^d\to t$
  • $s\to c(x)=1\to t$
  • 其中$d$是非常大时, 自私的情况仍然是平均cost为$1$
  • 最优解为$x\cdot 1+(1-x)\cdot (1-x{)}^d$将趋于零, 当$x\to 0$
  • 该网络的POA将趋于无穷大

2. 问题: 何时POA将会是比较小? 复杂网络的POA会变大还是变小?

• 事实上POA的存在是因为cost为非常数的边引起的;
• 模型:
  • 图中有若干条路线从起始点指向终止地: $r$ units of flow go from $s$ to $t$ in a direct graph $G=(V,E)$
  • 图的边存在成本函数: edge $e$ has cost function $c_e:R^{+}\to R^{+}$
    • 非负函数
    • 不减函数
    • 连续函数
• 主要结论(main result)[TR 02]: 本教材的编写者的研究成果
  • Among all networks with cost functions in the set $C$, Largest POA achieved in a pigou-network
    • 简而言之就是POA由可变成本的边引起, 事实上这个表述并不精确, 没有详细定义何为pigou-network
    • 因此最坏情况的网络总是很简单, 也很容易计算POA: worst case networks always simple $\Rightarrow$ easy to compute POA
  • Example: slide P.89-90
    • worst POA is $\frac{4}{3}$ if degree is $1$ poly with nonneg coeffcient { a x + b ∣ a , b ≥ 0 } \{ax+b|a,b\ge0\} {ax+b∣a,b≥0}
    • worst POA is $1.6$ if degree is $1$ poly with nonneg coeffcient { a x 2 + b x + c ∣ a , b , c ≥ 0 } \{ax^2+bx+c|a,b,c\ge0\} {ax2+bx+c∣a,b,c≥0}
    • worst POA is $1.9$ if degree is $1$ poly with nonneg coeffcient { a x 3 + b x 2 + c + d ∣ a , b , c , d ≥ 0 } \{ax^3+bx^2+c+d|a,b,c,d\ge0\} {ax3+bx2+c+d∣a,b,c,d≥0}
    • worst POA is $2.2$ if degree is $1$ poly with nonneg coeffcient { a x 4 + b x 3 + c x 2 + d ∣ a , b , c , d ≥ 0 } \{ax^4+bx^3+cx^2+d|a,b,c,d\ge0\} {ax4+bx3+cx2+d∣a,b,c,d≥0}

3. Pigou-like network

• 定义: 何为Pigou-like network?
  • 2个节点, 2个边;
  • traffic rate $r\ge 0$
  • 一条边的成本函数为$f_n=c(\cdot )$
  • 另一条边的成本为常数$c(r)$
• Note: eq. flow = all traffic on top $\to$ cost is $rc(r)$
  • 此时POA的值为 r c ( r ) min ⁡ 0 ≤ x ≤ r { x c ( x ) + ( r − x ) c ( r ) } \frac{rc(r)}{\min_{0\le x\le r}\{xc(x)+(r-x)c(r)\}} min0≤x≤r​{xc(x)+(r−x)c(r)}rc(r)​
• Note: 可以relax约束$x\le r$, 因为$c$是不增的
  • 求导: $c(x)+x{c}^{\prime }(x)-c(r)\ge c(x)-c(r)$
• 定义:
  • 令$C$是所有成本函数的集合
  • Pigou bound $\alpha (C)=$worst POA in a pigou-like network
    • $\Rightarrow \alpha (C)={\sup }_{c\in C}{\sup }_{r>0}({\sup }_{x\ge 0}\frac{rc(r)}{xc(x)+(r-x)c(r)})$
      • 分子是均衡状态, 分母是最优状态;
    • Example: 如果 C = { a x + b ∣ a , b ≥ 0 } C=\{ax+b|a,b\ge 0\} C={ax+b∣a,b≥0}是一个affine functions集合, 则$\alpha (C)=\frac{4}{3}$
• 定理: 对于任意集合$C$, 任意带有$C$中成本函数的网络, 它的POA$\le \alpha (C)$
  • 事实上一定存在一个pigou-like network的POA就等于$\alpha (C)$
  • 证明:
    • 预备工作(preliminary):
      • 令$G=(V,E)$, $s$-$t$ network with $r$ units of traffic
      • 流(Flow): 非负向量 { f p } \{f_p\} {fp​} on $s$-$t$ paths $p\in P$
        • ${\sum }_{p\in P}{f}_p=r$, $f_p$指有多少人在走这条$s$-$t$路径
          • 以Braess’s Paradox('68)为例子, 不建传送门上下两条路径的$f_p$都是$\frac{1}{2}$
        • $f_e={\sum }_{p:e\in p}{f}_p$, $f_e$指有多少人在走一条边
          • 以Braess’s Paradox('68)为例子, 建传送门后传送门的$f_e$是$1$
      • 均衡流(Equilibrium Flow) $f$: $f_{\hat{p}}>0$ only when p ^ ∈ arg min ⁡ p ∈ P { ∑ e ∈ p c e ( f e ) } {\hat p} \in \argmin_{p\in P}\{\sum_{e\in p}c_e(f_e)\} p^​∈p∈Pargmin​{∑e∈p​ce​(fe​)}
        • 即要在最短路径上才会有人走
        • $c_e(f_e)$就是$c_p(f)$
        • Fact: 一个均衡流总是存在的(by continuity), 暂且不证明, 相信它就可以了;
      • 目标函数: total travel time $={\sum }_{p\in P}{c}_p(f)f_p={\sum }_{e\in E}{c}_e(f_e)f_e$
        • Fact: 一个图中所有的均衡流的total travel time都是相同的, 暂且不证明, 相信它就可以了;
          • 这样就不需要考虑要在哪个均衡流上取最优值了
      • POA$=\frac{c(\mathrm{E}\mathrm{q}\mathrm{u}\mathrm{i}\mathrm{l}\mathrm{i}\mathrm{b}\mathrm{r}\mathrm{i}\mathrm{u}\mathrm{m}\mathrm{F}\mathrm{l}\mathrm{o}\mathrm{w})}{c(\mathrm{O}\mathrm{p}\mathrm{t}\mathrm{i}\mathrm{m}\mathrm{a}\mathrm{l}\mathrm{F}\mathrm{l}\mathrm{o}\mathrm{w})}$
    • 定理证明:
      • 固定$G$与$C$中的成本函数;
      • 令$f$为均衡流, $f^{\ast }$为最优流;
      • Note: 均衡流中所有路径上的cost都是相等的, 否则就不是均衡了;
      • ① Part1:
        • 因为$f$是均衡流, 则$f_p>0\Rightarrow c_p(f)\le c_{\hat{p}}(f)\hat{p}\in P$
        • 令$L=$common length of all equilibrium flow paths, 则有以下两个结论(均衡流下所有路径的$L$都相等, 所以可以设出$L$):
          • ${\sum }_p{f}_p{c}_p(f)=rL$
            • 解释: 若$f_p>0$, 则$c_p(f)$就是$L$
          • ${\sum }_p{f}_p^{\ast }{c}_p(f)\ge {\sum }_p{f}_p^{\ast }L=rL$
        • 那么${\sum }_e{f}_e{c}_e(f_e)\le {\sum }_e{f}_e^{\ast }{c}_e(f_e)\iff {\sum }_e(f_e^{\ast }-f_e)c_e(f_e)\ge 0$
      • ② Part2:
        • 对于每个边$e\in E$, instantiate $c\leftarrow c_e,r\leftarrow f_e,x\leftarrow f_e^{\ast }$, 有如下不等式成立: $$\alpha (C)\ge \frac{f_e{c}_e(f_e)}{f_e^{\ast }{c}_e(f_e^{\ast })+(f_e-f_e^{\ast })c_e(f_e)}$$
        • 移项合并后有$f_e^{\ast }{c}_e(f_e^{\ast })\ge \frac{1}{\alpha (C)}{f}_e{c}_e(f_e)+(f_e-f_e^{\ast })c_e(f_e)$
        • 最终对所有的$e$累和: $c(f^{\ast })\ge \frac{1}{\alpha (C)}c(f)+{\sum }_e(f_e^{\ast }-f_e)c_e(f_e)\ge \frac{1}{\alpha (C)}c(f)$

4. 案例分析: 网络过度配给(networks over-provisioning) Slide P.95

• popular strategy: install more capacity than needed
  • 如通信网络中不会把edge建成满负荷的, 会有很大的浪费, 但是这也是现实的做法, 就是不能满负荷;
• why?
  • ① empirically network functions better: 经验上这么做是好的
  • ② can be cheaper than enforcing quality-of-service(QOS)/admission control: 虽然没有满负荷, 但是本身调度是需要成本的, 因此可能会相对更优
• 考虑一个selfish routing network, 成本函数为:
  • $c_e(x)=\frac{1}{u_e-x}$, 若$x<u_e$
  • $c_e(x)=+\infty$, 若$x\ge u_e$
  • 即成本会在最大负荷$u_e$, 接近负荷的成本会急剧增长
  • 假设: 网络是$\beta$-over provisioned, 即均衡情况下$f_e\le (1-\beta )u_e,\forall e\in E$
  • 结论: POA$\le \frac{1}{2}(1+\sqrt{\frac{1}{\beta }})$
• 事实上上面的例子中的成本函数太特殊, 我们来看一般的情况:
  • 回顾: 本Lecture中第1点里举出的那个POA为无穷的那个例子$c(x)=x^d$
  • compare eq. to weaker OPT that sends additional traffic;
  • Equivalent: OPT forced to use slower network (but same traffic);
  • 定理: 对于每个selfish routing network, 在$r$ units的traffic下均衡流的成本不大于$2r$ units的traffic下的最优流的成本, 这对任何成本函数都成立;
    • 即与其调控, 不如把路造得宽一些;
    • 证明:
      • 令$f$为均衡流($r$ units), $f^{\ast }$为最优流($2r$ units);
      • 令$L$为common cost of all eq. paths
      • 则均衡流的cost$={\sum }_{p\in P}{f}_p{c}_p(f)=rL$
      • 则最优流的cost$={\sum }_{p\in P}{f}_p^{\ast }{c}_p(f)\ge {\sum }_{p\in P}{f}_p^{\ast }L=2rL$
      • To finish, 只需要证明: $$\sum _e{f}_e^{\ast }{c}_e(f_e^{\ast })\ge \sum _e{f}_e^{\ast }{c}_e(f_e)-\sum _e{f}_e{c}_e(f_e)$$
        • 即cost of $f^{\ast }\ge 2rL-rL=rL={\sum }_e{f}_e{c}_e(f_e)$
      • 事实上, 对于每个$e\in E$
        • $f_e^{\ast }{c}_e(f_e^{\ast })\ge f_e^{\ast }{c}_e(f_e)-f_e{c}_e(f_e)$
          • 不等式左边是cost of $f^{\ast }$
          • 不等式右边第一项$f_e^{\ast }{c}_e(f_e)\ge 2rL$
          • 不等式右边第二项$f_e{c}_e(f_e)\ge rL$
        • 上式等价于$f_e^{\ast }[c_e(f_e)-c_e(f_e^{\ast })]\le f_e{c}_e(f_e)$
        • 辅助证明的图片
          • 若$f_e^{\ast }\ge f_e$, 则上式的左边LHS$\le 0$, 是非正的, 这就没有什么好证明的了, 平凡;
          • $f_e^{\ast }<f_e\Rightarrow$ LHS $\le f_e^{\ast }{c}_e(f_e)\le f_e{c}_e(f_e)$从图表中看也是显然的;
        • 关于上述证明详见Slide P.99-100的图表;

5. Atomic Selfish Routing: 每个人都控制一单位的

• 模型:

  • $k$个players
  • 每个player有1个source $s$, 1个sink $t$
  • each routes 1 unit of traffic on a single $s_i$-$t_i$ path [to minimize path cost]

• Example:

  • $s_1,s_2\in s$, $t_1,t_2\in t$
  • $s$-$t$有两条路径, 一条$c(x)=x$, 另一条$c(x)=2$
  • OPT: 两个player一人占用一条路径, 这是一个纳什均衡, cost为3;
  • 事实上两个都走$c(x)=x$也是一个纳什均衡, cost为4;
  • 这就与连续的selfish routing不同了, 不同均衡流的cost可能有区别了;

• 定义: 对于多个均衡流, POA$=\frac{\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}\mathrm{o}\mathrm{f}\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{q}.}{\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}\mathrm{o}\mathrm{f}\mathrm{o}\mathrm{p}\mathrm{t}.}$

  • 上面的Example中的POA就是$\frac{4}{3}$

• Example: 一个比较复杂的图

  • 
  • 这个图中的POA恰好为2.5, 比较复杂, 需要花一段时间去看, 详细解释在Slide P.100
    • 最优流为所有player在1-hop的路径, cost为4
    • 均衡流为所有player在2-hop的路径, cost为10
    • POA计算为2.5

• 定理: 任意atomic selfish routing network with affine cost functions { a x + b ∣ a , b ≥ 0 } \{ax+b|a,b\ge 0\} {ax+b∣a,b≥0}, 则POA不会超过2.5;

  • 证明:

    • 预先工作:

      • 令$f$为均衡流, $f^{\ast }$为最优流
      • 设$c_e(x)=a_{e}x+b_e\forall e$
      • 定义$f_e$是在各自路径中使用$e$的player总数

    • ① Step1:

      • 因为$f$是一个均衡流, 所以任意一个player $i$都不会想要切换自己的路径$p_i\to p_i^{\ast }$
        • $p_i$是$i$的纳什均衡路径, $p_i^{\ast }$是$i$在最优解下的路径;
      • 那么$i$要是变了呢?
      • 举个例子: $$\begin{gathered} c_{p_i}(f)=\sum _{e\in p_i}{c}_e(f_e) \\ \le \sum _{e\in p_i\cap p_i^{\ast }}{c}_e(f_e)+\sum _{e\in p_i^{\ast }-p_i}{c}_e(f_e+1) \\ \le \sum _{e\in p_i\cap p_i^{\ast }}{c}_e(f_e+1)+\sum _{e\in p_i^{\ast }-p_i}{c}_e(f_e+1) \\ =\sum _{e\in p_i^{\ast }}{c}_e(f_e+1) \end{gathered}$$
        • 如果除了$i$外所有人都没有改变自己的路径, 则$p_i$与$p_i^{\ast }$重合的部分不变, 不重合的部分$p_i$少一个人走, $p_i^{\ast }$多一个人走,

    • ② Step2: sum over $i$, Slide P.102

      • LHS$={\sum }_{i=1}^k{\sum }_{e\in p_i}{c}_e(f_e)={\sum }_{e\in E}{f}_e{c}_e(f_e)$, 结果就是均衡流的成本;
      • RHS$$\begin{gathered} \le \sum _{i=1}^k\sum _{e\in p_i^{\ast }}{c}_e(f_e+1)=\sum _{e\in E}{f}_e^{\ast }{c}_e(f_e+1) \\ =\sum _{e\in E}{f}_e^{\ast }(a_e(f_e+1)+b_e) \\ =\sum _{e\in E}[a_e{f}_e^{\ast }(f_e+1)+b_e{f}_e^{\ast }] \end{gathered}$$

    • ③ Step3: 数学命题

      • 任意$y,z\in N$, 有$y(z+1)\le \frac{5}{3}{y}^2+\frac{1}{3}{z}^2$
      • 则均衡流的cost(Slide P.102)$$\begin{gathered} C(f)\le \sum _{e\in E}[a_e(\frac{5}{3}{f_e^{\ast }}^2+\frac{1}{3}{f}_e^2+b_e{f}_e^{\ast })] \\ \le \frac{5}{3}[\sum _{e\in E}{f}_e^{\ast }(a_e{f}_e^{\ast }+b_e)]+\frac{1}{3}\sum _{e\in E}{a}_e{f}_e^2 \\ \le \frac{5}{3}C(f^{\ast })+\frac{1}{3}C(f) \end{gathered}$$
      • 两边同时减去$\frac{1}{3}C(f)$就可以得到2.5的边界(妙啊)

---

Lecture 9

1. 前章回顾:

• 上一次证明了在atomic selfish routing network中, 如果成本函数是仿射函数($c(x)=ax+b$), 则最坏的POA$=\frac{5}{2}$
• 但是我们如何知道一个均衡流是存在的呢?

2. 定理: [Rosenthal’s Theorem] Slide P.104

• 定理内容: 每个atomic selfish routing network中(任意成本函数), 都至少有一个均衡流;
• 证明: 将通过证明这种游戏是一个potential games(势能游戏)
  • 定义:
    • 一个potential function(势能函数)是指: $$\Phi (f)=\sum _{e\in E}\sum _{i=1}^{f_e}{c}_e(i)$$
    • 可以从下图中直观的看出total cost/travel tim($f_e{c}_e(f_e)$)与势能函数的关系
  • Key Claim: 固定其他player不变, $i$改变了自己的路径, 有如下等式成立
    • 此时flowc从$f$变为了$\hat{f}$, 因为$i$改变了自己的路径($p_i$变为${\hat{p}}_i$)
    • 则宣称$\Phi (\hat{f})-\Phi (f)={\sum }_{e\in {\hat{p}}_i}{c}_e({\hat{f}}_e)-{\sum }_{e\in p_i}{c}_e(f_e)$
      • 等式左边是势能函数的变化, 等式右边是$i$的成本变化;
      • 解释:
        • 同时在$p_i$和${\hat{p}}_i$中的边可以不考虑, 因为没有发生变化;
        • 则有: LHS$={\sum }_{e\in {\hat{p}}_i-p_i}{c}_e(f_e+1)-{\sum }_{e\in p_i-{\hat{p}}_i}{c}_e(f_e)=$RHS
  • 只需令$f^{\ast }=\mathrm{argmin}\Phi (f)$即可, 这是一个纯纳什均衡;
    • 则任何player无法通过改变自身的路径来减小$\Phi$, 从而就无法减小自身的成本;
    • 则$f^{\ast }$将是一个均衡流;
• 定理扩展:
  • 即便$c_e$并非不增函数, 该定理也成立(因为证明中没有使用$c_e$为不减函数的条件);
  • 对于arbitrary $p_i$ of a ground set $E$, 定理也成立, 因为证明中没有要求$p_i$是一条连续路径, 就算是在图中任意取一些离散的边也成立, 此时游戏变为congestion games
  • 对于non-atomic selfish routing network, 使用势能函数: $$\Phi (f)=\sum _{e\in E}{\int }_0^{f_e}{c}_e(x)\mathrm{d}x$$
    • 要求$\Phi$是连续的, 从而全局最小值才存在, 这就是一个均衡流
    • 要求$\Phi$是凸的; 若$c_e$是不增的, 则全局最小值是唯一的(local minimizer/eq. flow)
• 此时我们解决了上节课的遗留问题, 即如果network中一定存在均衡流, 且若存在多个均衡流, 则它们的成本是相同的;

3. 问题: what about games with no (pure) eq.?

• 举个例子: selfish routing with non-uniform player weights(AGT book, Ex 18.7), 猜拳游戏(石头剪刀布), etc;

4. A Hierarchy of Equilibrium Concepts: 均衡概念的阶层 Slide P.107-P.110

• 定义: a cost minimization game(成本最小化游戏)
  • $k$个players
  • 策略集合: $S_1,S_2,...,S_K$
  • $\forall i$, 一个cost function $c_i(\vec{S}),[\vec{S}\in S_1\times S_2...\times S_K]$
  • 定义[PNE]:
    • $\vec{s}$是一个纯纳什均衡(PNE), 若对于$\forall i,\forall s_i^{\prime }\in S_i$, 有$c_i(\vec{s})\le c_i(s_i^{\prime },{\vec{s}}_{-i})$
  • 问题: PNE未必存在, 所以需要定义混合纳什均衡(MNE)
  • 定义[MNE]:
    • 称从混合纳什均衡中得到一个分布${\sigma }_1,{\sigma }_2,...,{\sigma }_K$ over $S_1,S_2,...,S_K$
    • 若$\forall i,\forall s_i^{\prime }\in S_i$, 则$E_{\vec{s}\sim \vec{\sigma }}[c_i(\vec{s})]\le E_{{\vec{s}}_{-i}\sim {\vec{\sigma }}_{-i}}[c_i(s_i^{\prime },{\vec{s}}_{-i})]$
  • Facts:
    • ① 混合纳什均衡总是存在;
    • ② 但是绝大多数混合纳什均衡是计算不可行的(computation intractable): 介于P与NPC之间的难度
      • 理论上现实情况中达到纳什均衡是不太可能的事情, 因为计算机都算不出来的东西, 应当是无法在自然演化中最终收敛到;
      • 因此引出了一些其他均衡的定义;
  • 定义[CE]: correlated equilibrium 相互均衡
    • 称在$S_1\times S_2...\times S_K$上的一个分布$\sigma$是correlated equilibrium
    • 若$\forall i,\forall s_i\in S_i,\forall s_i^{\prime }\in S_i$, 有$E_{\vec{s}\sim \sigma }[c_i(\vec{s})|s_i]\le E_{\vec{s}\sim \sigma }[c_i(s_i^{\prime },{\vec{s}}_{-i})|s_i]$
      • 备注:
        • from gyf: 给不等式两端再加一重期望$E$就是得到CCE, 因此CE是更强的概念
    • 这似乎很难理解, 举个例子是石头剪刀布游戏中以前的MNE是每个人分别以$\frac{1}{3}$出石头剪刀布, 此处我们要求两人同时出某种组合的概率是一个值(同时出石头的概率为$\frac{1}{4}$)
    • Original Semantics:
      • $\sigma$是公开的共同知识;
      • 可信任的第三方(TTP)私下采样一个$\vec{s}\sim \sigma$
      • 对于每个$i$, TTP私下建议他使用策略$s_i$
      • $\forall i$, $i$最小化期望成本, 通过在$s_{-i}$的条件下playing $s_i$, 假设以他人都使用了TTP推荐的策略;
      • 举个例子:
        • 红绿灯处, 两个人分别要东西和南北横穿, 显然有两个PNE, 一个通过另一个人停下;
        • 令$\sigma$为以五成五成的概率随机取这两个PNE的分布, 则这种策略不是PNE和MNE, 但是这是一种CE
        • 显然这里可信任的第三方(TTP)就是红绿灯;
    • Exercise: MNE correspond to CE That are product dist;
    • Fact: CE是计算可行的;
  • 定义[CCE]:
    • 称在$S_1\times S_2...\times S_K$上的一个分布$\sigma$是coarse correlated equilibrium(粗糙的相互均衡);
    • 若$\forall i,\forall s_i^{\prime }\in S_i$, 有$E_{\vec{s}\sim \sigma }[c_i(\vec{s})]\le E_{\vec{s}\sim \sigma }[c_i(s_i^{\prime },{\vec{s}}_{-i})]$
    • 不等式左边是决定要听TTP的建议结果, 右边是不听TTP的建议的结果, 区别于CE的地方是, player需要更早的决定到底要不要听TTP的;
    • Exercise: CE是一种CCE, 但是并非coursely的
  • 最后用一张图来展示各种均衡的区别
    • 每个PNE都是一个MNE, 每个MNE都是CE, 每个CE都是一个CCE;

5. Smooth Games 光滑游戏 Slide P.112 Lecture 14

• Step in ME/CK proof(回顾POA值为$\frac{5}{2}$的证明)

  • ① invoke(引用) PNE hypothesis to derive $c_i(\vec{s})\le c_i(s_i^{\ast },{\vec{s}}_{-i})$
  • ② sum over $i$
  • ③ relate entangled term ${\sum }_{i=1}^K{c}_i(s_i^{\ast },{\vec{s}}_{-i})$ to $\frac{5}{3}\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(s^{\ast })+\frac{1}{3}\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(s)$
  • ④ 最终解出POA值为$\frac{5}{2}$

• A Location Game: 选址问题

  • 可行的地点集合$F$
  • 市场集合$M$, 其中每个元素$j\in M$有一个公开的价值$v_j$ 这是市场愿意对服务付出的最大价值;
  • 成本$c_{l_j}$是服务$j\in M$来自$l\in F$
  • 共有$k$个player, 每个player选择一个地点集合$F_i\subseteq F$
  • 举个例子(文字说明Slide P.113 - P.114):
  • 即player的回报(payoff)为${\pi }_i(\vec{s})={\sum }_{j\in M}{\pi }_{ij}(\vec{s})$, 其中:
    • 若$c_{lj}\ge v_j$或$l\in C$是$C$中距离$j$最近的地点, 则${\pi }_{ij}(\vec{s})=0$
    • 否则${\pi }_{ij}(\vec{s})=d_j^{(2)}(\vec{s})-c_{lj}$, 其中 d j ( 2 ) = min ⁡ { v j , 2 n d   c l o s e s t   l o c a t i o n   t o   j } d_j^{(2)}=\min\{v_j,{\rm 2nd\space closest\space location\space to\space} j\} dj(2)​=min{vj​,2nd closest location to j}, 即$d_j^{(2)}$是距离$j$第二近的地点;
    • 这里之所以是2nd, 其实代表这是一个次价拍卖;
  • 目标函数: max surplus $V(\vec{s})={\sum }_{j\in M}[v_j-d_j(\vec{s})]$
    • 其中 d j = min ⁡ { v j , c l o s e s t   l o c a t i o n   t o   j } d_j=\min\{v_j,{\rm closest\space location\space to\space} j\} dj​=min{vj​,closest location to j}
  • 定理[Vetla '02]: 在每个这样的光滑游戏中, PNE的POA$\ge \frac{1}{2}$
    • 三个关键性质(证明中主要用到这三个性质):
      • ① $\forall \vec{s}$, 有${\sum }_{i=1}^K{\pi }_i(\vec{s})\le V(\vec{s})$
        • 即player的收益总是比目标函数要低, 因为目标函数是用一价算的surplus, 收益是次价成交;
      • ② ${\pi }_i(\vec{s})=V(\vec{s})-v({\vec{s}}_{-i})$
        • 左边是player $i$的收益, 右边其实就是VCG中提到的外部性收益, 没有$i$和有$i$的区别;
        • 此处的外部性并不那么显然, 可以看到RHS$={\sum }_j[d_j^{\mathrm{o}\mathrm{l}\mathrm{d}}-d_j^{\mathrm{n}\mathrm{e}\mathrm{w}}]$
          • 要么$d_j^{\mathrm{n}\mathrm{e}\mathrm{w}}与d_j^{\mathrm{o}\mathrm{l}\mathrm{d}}$相同, 即$i$没有赢得市场;
          • 要么$i$赢得市场, 则$d_j^{\mathrm{o}\mathrm{l}\mathrm{d}}$就是2nd最近的距离;
          • 则RHS就是LHS
      • ③ 函数$V$是一个次模函数(submodular function), 即对于任意地点$l$和集合$T_1\subseteq T_2$, 有 V ( T 2 ∪ { l } ) − V ( T 2 ) ≤ V ( T 1 ∪ { l } ) − V ( T 1 ) V(T_2\cup \{l\})-V(T_2)\le V(T_1\cup \{l\})-V(T_1) V(T2​∪{l})−V(T2​)≤V(T1​∪{l})−V(T1​)
        • 即同样的自变量调整发生在大集合中的函数值变化要比小集合中的函数值变化要更小;
    • 定理证明:
      • 令$\vec{s}$是一个PNE, ${\vec{s}}^{\ast }$是OPT;
      • ① Step1: 因为$\vec{s}$是PNE, 则有${\pi }_i(\vec{s})\ge {\pi }_i(s_i^{\ast },{\vec{s}}_{-i})$对$\forall i$成立;
      • ② Step2: 对$i$累和, 有$$V(\vec{s})\ge \sum _{i=1}^K{\pi }_i(\vec{s})\ge \sum _{i=1}^K{\pi }_i(s_i^{\ast },{\vec{s}}_{-i})$$
      • ③ Step3: 宣称${\sum }_{i=1}^K{\pi }_i(s_i^{\ast },{\vec{s}}_{-i})\ge V({\vec{s}}^{\ast }-V(\vec{s}))$
        • 证明: LHS等于$$\begin{gathered} \sum _{i=1}^K[V(s_i^{\ast },{\vec{s}}_{-i})-V({\vec{s}}_{-i})] \\ \ge \sum _{i=1}^K[V(s_1^{\ast },s_2^{\ast },...,s_{i-1}^{\ast },s_i^{\ast },\vec{s})-V(s_1^{\ast },s_2^{\ast },...,s_{i-1}^{\ast },\vec{s})] \\ =V({\vec{s}}^{\ast }\cup \vec{s})-V(\vec{s}) \\ \ge V({\vec{s}}^{\ast })-V(\vec{s}) \end{gathered}$$
        • 第一步恒等变换是上述定义, 第二步用了次模函数的不等式性质, 第三步是错位相消得到的结果, 第四步是基于函数$V$的单调性;
      • ④ Step4: $V(\vec{s})\ge V({\vec{s}}^{\ast })-V(\vec{s})$, 推导出POA$=\frac{V(\vec{s})}{V({\vec{s}}^{\ast })}\ge \frac{1}{2}$

• A Smooth Games 光滑游戏 Slide P.117

  • 定义:
    • ① 称一个cost minimization game是一个$(\lambda ,\mu )$-$\mathrm{s}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}$的($\mu <1$), 若$\forall \vec{s},{\vec{s}}^{\ast }$满足$$\sum _{i=1}^K{c}_i(s_i^{\ast },{\vec{s}}_{-i})\le \lambda \cdot \mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}({\vec{s}}^{\ast })+\mu \cdot \mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(\vec{s})$$
      • 其中目标函数$\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(\vec{s})\le {\sum }_{i=1}^K{c}_i(\vec{s})$对$\forall \vec{s}$成立;
    • ② 称一个payoff-maximization游戏是$(\lambda ,\mu )$-$\mathrm{s}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}$, 若对于$\forall \vec{s},{\vec{s}}^{\ast }$, 满足$$\sum _{i=1}^K{\pi }_i(s_i^{\ast },{\vec{s}}_{-i})\ge \lambda \cdot V({\vec{s}}^{\ast })-\mu \cdot V(\vec{s})$$
      • 这里的$V(\cdot )$是满足对$\forall \vec{s}$成立$V(\vec{s})\ge {\sum }_{i=1}^K{\pi }_i(\vec{s})$的目标函数;
    • 一些例子:
      • selfish routing atomic 是 $(\frac{5}{3},\frac{1}{3})$-$\mathrm{s}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}$的
      • location game是(1,1)$-$\rm smooth$的
      • PNE, MNE, CE, CCE的POA是依次递增的;
  • 回顾CCE的定义, 有如下定理成立:
    • 定理: 在每个$(\lambda ,\mu )$-$\mathrm{s}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}$的cost minimization game中, 有CCE的POA$\le \frac{\lambda }{1-\mu }$, for payoff-max, 则还有CCE的POA$\ge \frac{\lambda }{1+\mu }$
      • 证明: Slide P.119
        • 令$\sigma$是一个$(\lambda ,\mu )$-$\mathrm{s}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}$游戏的CCE, 则有$$\begin{gathered} E_{\vec{s}\sim \sigma }[\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(\vec{s})]\le E_{\vec{s}\sim \sigma }[\sum _{i=1}^K{c}_i(\vec{s})] \\ =\sum _{i=1}^K{E}_{\vec{s}\sim \sigma }[c_i(\vec{s})] \\ \le \sum _{i=1}^K{E}_{\vec{s}\sim \sigma }[c_i(s_i^{\ast },{\vec{s}}_{-i})] \\ =E_{\vec{s}\sim \sigma }[\sum _{i=1}^K{c}_i(s_i^{\ast },{\vec{s}}_{-i})] \\ \le E_{\vec{s}\sim \sigma }[\lambda \cdot \mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}({\vec{s}}^{\ast })+\mu \cdot \mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(\vec{s})] \\ =\lambda \cdot \mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}({\vec{s}}^{\ast })+\mu \cdot E_{\vec{s}\sim \sigma }[\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(\vec{s})] \end{gathered}$$
        • 其中第一行$\le$号是来自目标函数的假设;
        • 二四六行的恒等式是期望的线性性质得到;
        • 第三行$\le$号是来自CCE的定义;
        • 第五行$\le$号是光滑游戏是$(\lambda ,\mu )$-$\mathrm{s}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}$的定义;
        • 最终得到结论成立;

• $ϵ$-PNE: Slide P.119-120

  • 定义: $\vec{s}$是一个$ϵ$-approx的PNE, 若$\forall i,s_i^{\prime }\in S_i$满足$c_i(\vec{s})\le (1+ϵ)\cdot c_i(s_i^{\prime },{\vec{s}}_{-i})$
  • 定理: 对于每个$(\lambda ,\mu )$-$\mathrm{s}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}$的cost minimization game $G$, 每个$ϵ<\frac{1}{\mu }-1$, 每个$G$的$ϵ$-PNE, 则G的每个输出${\vec{s}}^{\ast }$有$$c(\vec{s})\le \frac{(1+ϵ)\lambda }{1-\mu (1+ϵ)}\cdot c({\vec{s}}^{\ast })$$

---

Lecture X

1. 问题提出:

• 能否达到均衡: can players reach an equilibrium ?
• 能否快速达到均衡: quick ?
• 如何达到均衡: how ?

2. 重要性: justifies equilibrium analysis (like POA)

• 注意: 需要behaviorial model(dynamic), 但不一定在一个均衡上;
• Best-response dynamics (BRD) 算法:
  • while $\vec{S}$ is not a PNE:
    • pick a player i with a beneficial deviation $s_i^{\prime }$
    • let player $i$ switch $s_i\to s_i^{\prime }$
• BRD的本质就是每次调整一个人(注意并非所有人同时修改策略, 而是), 使得他出当前最优的状态, 不断调整每个人;
• 但是BRD未必收敛, 如猜拳游戏没有PNE(输者就会改变自己的出招, 然后对方就输了, 然后), 在BRD算法下每个人就会不断的循环出招;
• 定理: BRD算法如果收敛, 则一定收敛到PNE;

3. 回顾:

• a potential game(Lecture 9的第2点), admits a function $\Phi$, s.t. $\forall \vec{S},\forall i,\forall s_i^{\prime }$, $\Phi (\vec{S})-\Phi (s_i^{\prime },{\vec{S}}_{-i})=C_i(\vec{S})-C_i(s_i^{\prime },{\vec{S}}_{-i})$

• 推论: 在potential game中一定会收敛到PNE, 因为成本是严格递减的;

• Note: 收敛速度如何?

  • 事实上可以构造出收敛过程中遍历了所有策略组合的情况, 如$n$个人每人两种$2$中策略就需要迭代$2^n$步;

• 第一种方法: 在多项式时间内收敛到一个$ϵ$-PNE;

  • $ϵ$-BRD:
    • 定义: 当存在一个player可以通过改变策略来减少它的成本$\ge (1-ϵ)$factor(一个**$ϵ$-move**), 令这样一个人进行策略修正;
    • 这样就能让potential game收敛到一个$ϵ$-PNE;
    • 定理: 考虑一个atomic selfish routing, 满足: Slide P.133

      • ① common source and sink;

      • ② $\alpha$-bound jump condition: $\forall e,\forall x\ge 1$, 有$C_e(x+1)\in [C_e(x),\alpha \cdot C_e(x)]$

      • ③ $ϵ$-BRD;

      • ④ Max-Gain dynamics [每次会去调整那个成本下降最多的player的策略, player with bigest absolute improvement moves];

      • 则$ϵ$-BRD将在$O(\frac{k\cdot \alpha }{ϵ}\log \frac{\Phi (S^0)}{{\Phi }_{\min }})$

        • $k$是玩家数量;
        • $S^0$初始状态, $\Phi (S^0$就是初始状态的potential;
        • ${\Phi }_{\min }$是可能的最小的potential;
        • 第④点在证明中并不显得很重要;

      • 证明:

        • 引理1: 在每一个$\vec{S}$中, ${\max }_i{C}_i(\vec{S})\ge \frac{\Phi (\vec{S})}{k}$ Slide P.134 引理3.3

          • 证明: 回顾Lecture 9中第2点的Rosenthal’s Theorem] Slide P.104, 那张直方图中有三根柱子的面积和不超过包裹着它们的矩形面积:

        • 引理2: 若player $i$ is chosen in outcome $\vec{S}$[s_i\rightarrow s_i^{\prime}], 则$\forall j$, 有$C_i(\vec{S})-C_i(s_i^{\prime },{\vec{S}}_{-i})\ge \frac{ϵ}{\alpha }{C}_j(\vec{S})$ Slide P.135 引理3.4

          • 证明: 固定玩家$j$;
            • ① 若$j$在$\vec{S}$中也有一个$ϵ$-move, 则$C_i(\vec{S})-C_i(s_i^{\prime },{\vec{S}}_{-i})\ge C_j(\vec{S})-c_j(s_j^{\prime },{\vec{S}}_{-j})\ge ϵ\cdot C_j(\vec{S})$, 都不需要除以$\alpha$, 结论更强;
            • ② 若$j$在$\vec{S}$没有一个$ϵ$-move, 有$$C_j(s_i^{\prime },{\vec{S}}_{-j})\ge (1-ϵ)\cdot C_j(\vec{S})\text{\hspace{1em}(1)}$$$$C_i(s_i^{\prime },{\vec{S}}_{-i})\le (1-ϵ)\cdot C_i(\vec{S})\text{\hspace{1em}(2)}$$
            • Note: $(s_i^{\prime },{\vec{S}}_{-i})$与$(s_i^{\prime },{\vec{S}}_{-j})$有$(k-1)$条路径是相同的;
              • 则每条边的负载最多会相差一个人;
              • 由bound jump condition(定理中的第③个假设点)有: $C_j(s_i^{\prime },{\vec{S}}_{-j})\le \alpha \cdot C_i(s_i^{\prime },{\vec{S}}_{-i})$
              • 带入(1)(2)两个式子, 就可以把两个式子联系起来即可得到$C_i(\vec{S})-C_i(s_i^{\prime },{\vec{S}}_{-i})\ge \frac{ϵ}{\alpha }{C}_j(\vec{S})$的结论;
                • 这里要附加一个$C_j(\vec{S})\le \alpha \cdot C_i(\vec{S})$

        • 定理的证明:

          • 在任意迭代中, 当$i$发生转移: $s_i\to s_i^{\prime }$有(两个$\ge$号依次由引理2和引理1得到): $$\begin{gathered} \Delta \Phi =C_i(\vec{S})-C_i(s_i^{\prime },{\vec{S}}_{-i}) \\ \ge \frac{ϵ}{\alpha }\cdot \underset{j}{\max }{C}_j(\vec{S}) \\ \ge \frac{ϵ}{\alpha }\cdot \frac{i}{k}\cdot \Phi (\vec{S}) \end{gathered}$$
          • 于是在经过$l=O(\frac{k\cdot \alpha }{ϵ}\log \frac{\Phi (S^0)}{{\Phi }_{\min }})$步的$ϵ$-BRD迭代内, 算法结束(hat):

• 第二种方法: reach low-cost outcome in ploy # of iterations

  • 定理 Slide P.136 Thm 4.1: 考虑一个$(\lambda ,\mu )$-$\mathrm{s}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}$的cost-min, 它的potential function满足$\Phi (\vec{S})\le \mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(\vec{S})$, 令$S^0,S^1,...,S^T$是sequence generated by Max-Gain BRD, 令$S^{\ast }=\mathrm{o}\mathrm{p}\mathrm{t},\forall \gamma <0$, 则除了有限多个的状态(数量为O(\frac{k}{(1-\mu)\gamma})\log\frac{\Phi(\vec S^{0})}{\Phi_{\min}}), 输出${\vec{s}}^t$都满足$\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(s^t)\le (\frac{\lambda }{1-\mu }+\gamma )\cdot \mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(s^{\ast })$
    • 证明:
      • 记$s^t$是bad的, 若$\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(s^t)>(\frac{\lambda }{1-\mu }+\gamma )\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}({\mathrm{s}}^{\ast })$
      • 对于$\vec{S}$, $\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(\vec{s}S)={\sum }_{i=1}^k{C}_i(\vec{S})={\sum }_{i=1}^k(C_i(s_i^{\ast },{\vec{S}}_{-i})+{\delta }_i(\vec{S}))\le \lambda \mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(s^{\ast })+\mu \mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(\vec{S})+{\sum }_{i=1}^k{\delta }_i(\vec{S}0)$
        • ${\delta }_i(\vec{S})=C_i(\vec{S})-C_i(s_i^{\ast })-C_i(s_i^{\ast },{\vec{S}}_{-i})$
      • 所以$\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(\vec{S})\le \frac{\lambda }{1-\mu }\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(s^{\ast })+\frac{1}{1-\mu }{\sum }_{i=1}^k{\delta }_i(\vec{S})$
      • 若$\vec{S}$是bad的, 则${\sum }_{i=1}^k{\delta }_i(\vec{S})>(1-\mu )\cdot \gamma \cdot \mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(s^{\ast })$
        • 则存在$i$使得$C_i(\vec{S})-C_i(S^{\ast },{\vec{S}}_{-i})={\delta }_i(\vec{S})\ge \frac{(1-\mu )\gamma }{k}\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}(s^{\ast })\ge \frac{(1-\mu )\gamma }{k}\Phi (s^{\ast })$
        • 下一轮减少的potential将$\ge \frac{(1-\mu )\gamma }{k}\Phi$
        • 则$(1-\frac{(1-\mu )\gamma }{k}{)}^l$ factor decrease after $l$ bad iterations;

3. multiplicative weights & non-regret dynamics

• 反悔最小化: Regret Minimization (Single Player)
• Let $A$ is an action set, $n=|A|$
• At time $t=1,2,...,T$, $T$已知
  • ① 你挑选一个混合策略: $p^t$ over $A$
  • ② 你的对手方选择一个cost vector $c^t$: $A\to [0,1]$
  • ③ choose $a^t\sim p^t$, 你的cost为$c^t(a^t)$
  • 显然这对于你很不公平, 但是我们依然期望找到最优策略;
• 问题: what guarantee can we hope for ?
  • ① can’t compare to best action sequence in hindsight(开天眼的情况下, 预知未来): ${\sum }_t{\min }_{a\in A}{c}^t(a)$
    • 对手方可以enforce $\mathrm{o}\mathrm{p}\mathrm{t}=0$ but your cost $\ge \frac{T}{2}$
    • 关键点: compare to best fixed action in hidsight: $$\frac{1}{T}[\sum _{t=1}^T{c}^t(a^t)-\underset{a\in A}{\min }\sum _{t=1}^T{c}^t(a^{)}]$$
      • 这就是你的regret值, 可能是负数, 即不会后悔;
      • 前一项是你的cost, 后一项是best fixed action的cost, 两者一减就是regret的量化;
    • 模拟场景, 你要买股票, 你有很多个专家给你提供建议, 你可以给出一种听从不同专家的概率, 使得最终的混合策略好于任何一个专家的建议, 你并不知道股票即将的涨跌情况, 这个结论事实上并不平凡;
  • ② deterministic algorithms doesn’t work, 确定性算法一定不能起效(如你去告诉对手方我一定走哪条路, 这肯定是不行的), 你的对手方总是可以强制你的cost等于$T$, 但是最优的情况下cost会$\le \frac{T}{n}$
    • 这里假设的是有$n$条路, 你要决定去走哪条路, 我可以混合策略平均地走每条路, 成本将会比我确定的告诉对手方我走哪条路要低得多;
  • ③ 事实上你不可能做得比$\Omega (\sqrt{\frac{\log n}{T}})$更好的期望regret;
    • 证明思路[$n=2$]: 对手方随机化cost vector $c^t=(1,0{)}^{\top }$或$(0,1{)}^{\top }$
    • expected alg cost = $\frac{T}{2}$
    • expected best action cost = $\frac{T}{2}-\Theta (\sqrt{T})$
    • 两者一减除以$T$就得到了这个上界;
• 定义: 一个(randomized, 随机化的)算法是no-regret的, 若$\forall c^1,c^2,...,c^T$有$\mathbb{E}[\mathrm{r}\mathrm{e}\mathrm{g}\mathrm{r}\mathrm{e}\mathrm{t}]\to 0$当$T\to \infty$
• 定理 Slide P.142 Thm 2.1: 存在一个简单的算法, 它的期望regret为$O(\sqrt{\frac{\log n}{T}})$
  • multiplicative weights:
    • 维护每个action的weight;
    • 正比于weight来出策略;
    • 再不断去更新;
  • 算法步骤: Slide P.143
    • ① 初始化 $w^1(a)=1\forall a\in A$
    • ② For i=1,2,…,$T$:
      • choose a^t with probablity proportional to w^t(a)'s 即$p^t(a)=\frac{w^t(a)}{{\sum }_{a^{\prime }}{w}^t(a^{\prime })}$
        • 我告诉对手方我的策略是选$p^t$, 然后对手方给出一个$c^t$;
        • 下一轮我能知道该轮的情况, 但是无法知道下一轮的情况;
        • 我们的比较对象是事后的固定策略, 所以需要一定程度的学习历史;
      • 给定$c^t$, 减少weights: $w^{t+1}(a)=w^t(a)\cdot (1-ϵ{)}^{c^t(a)}\forall a\in A$
        • $ϵ\in (0,\frac{1}{2}]$, choose later;
        • $ϵ$越小则更倾向于学习历史;
        • $c^t(a)=0$时相当于保持不变, $c^t(a)=1$就会缩水$(1-ϵ)$
  • 分析Slide P.143-145: 令${\Gamma }^t={\sum }_{a\in A}{w}^t(a)$
    • ① 存在good action $a^{\ast }$, then ${\Gamma }^t$就会很大;
      • 令$\mathrm{O}\mathrm{P}\mathrm{T}={\sum }_{t=1}^T{c}^t(a^{\ast })$, (${\min }_{a\in A}{\sum }_{t=1}^T{c}^t(a)$), 则$${\Gamma }^{T+1}\ge w^{T+1}(a^{\ast })=w^1(a^{\ast })\prod _t(1-ϵ{)}^{c^t(a^t)}=(1-ϵ{)}^{\mathrm{O}\mathrm{P}\mathrm{T}}$$
    • ② 我们说明${\Gamma }^T$是以指数速度下降(decrease exponentially fast in exp cost of MW):
      • 原因: 期望cost of MW at step $t$为 ${\sum }_a\mathrm{Pr}[\mathrm{p}\mathrm{i}\mathrm{c}\mathrm{k}\mathrm{a}]c^t(a)={\sum }_a\frac{w^t(a)}{{\Gamma }^t}\cdot c^t(a)$, 则有递归$$\begin{gathered} {\Gamma }^{t+1}=\sum _a{w}^{t+1}(a)=\sum _a{w}^t(a)(1-ϵ{)}^{c^t(a)} \\ \le \sum _a{w}^t(a)(1-ϵ\cdot c^t(a)) \\ ={\Gamma }^t(1-ϵ\cdot \sum _a\frac{w^t(a)}{{\Gamma }^t}\cdot c^t(a)) \\ ={\Gamma }^5(1-ϵ\cdot {\gamma }^t) \end{gathered}$$
        • 其中${\gamma }^t=$exp cost of MW at step $t$
    • 由①②两个结论, 我们得到$(1-ϵ)\le {\Gamma }^{T+1}\le {\Gamma }^1\cdot {\prod }_{i=1}^T(1-ϵ{\gamma }^t)=n{\prod }_{i=1}^T(1-ϵ{\gamma }^t)$
    • 泰勒展开:
      • $\mathrm{O}\mathrm{P}\mathrm{T}\cdot \log (1-ϵ)\le \log (n)+{\sum }_{t=1}^T\log (1-ϵ{\gamma }^t)$
      • $\mathrm{O}\mathrm{P}\mathrm{T}\cdot (-ϵ-{ϵ}^2)\le \log (n)+{\sum }_{t=1}^T\log (-ϵ{\gamma }^t)$
    • 所以: ${\sum }_{t=1}^T{\gamma }^t\le \mathrm{O}\mathrm{P}\mathrm{T}\cdot (1+ϵ)+\frac{\log (n)}{ϵ}\le \mathrm{O}\mathrm{P}\mathrm{T}+ϵT+\frac{\log (n)}{ϵ}$

4. No-regret dynamics (NRD)

• At time $t=1,2,...,T$
• ① each player $i$ independently choose strategy s_i^t using a no-regret algorithm $A_i$
• ② each player $i$ receives cost vector $C_i(\cdot ,{\vec{S}}_{-i}^t)$
• 定理 Slide P.146: 令$S^1,S^2...,S^T$是根据NRD生成出来的, 且$\sigma =$unit distribution over the multiset, 则$\sigma$ is an approximate coarse correlated eq.(CCE)
• 回顾上一讲中的CCE, 这是一个非常容易计算的均衡:
  • 定义[CCE]:
    • 称在$S^1\times S^2...\times S^K$上的一个分布$\sigma$是coarse correlated equilibrium(粗糙的相互均衡);
    • 若$\forall i,\forall s_i^{\prime }\in S_i$, 有$E_{\vec{s}\sim \sigma }[c_i(\vec{s})]\le E_{\vec{s}\sim \sigma }[c_i(s_i^{\prime },{\vec{s}}_{-i})]$
• 定理证明:
  • 若player $i$有一个regret $R_i$: $$R_i=\frac{1}{T}[\sum _{t=1}^T{C}_i(S^t)-\underset{s_i^{\ast }\in A_i}{\min }7su{m}_{t=1}^T{C}_i(s_i^{\prime },{\vec{S}}_{-i}^t)]$$

---

END