Incentive Mechanism Design for Distributed Coded Machine Learning论文笔记

最新推荐文章于 2024-09-14 19:18:15 发布

RUI!

最新推荐文章于 2024-09-14 19:18:15 发布

阅读量2.7k

点赞数

分类专栏：联邦学习文章标签：机器学习人工智能深度学习

本文链接：https://blog.csdn.net/Honriii/article/details/121856894

版权

联邦学习专栏收录该内容

5 篇文章 1 订阅

订阅专栏

摘要

分布式机器学习的整体效率可能被部分straggling worker拖累；
编码机器学习可以通过从前k个完成计算的worker的计算结果恢复最终的计算结果来提高整体效率；
现有的研究专注于设计编码的方案，尚没有研究提出激励机制刺激worker参与分布式编码机器学习；本文针对分布式机器学习平台未知每个worker的计算性能和计算成本的情形提出一种激励机制；
本文的一大贡献是将worker的多维信息归纳为一个一维的衡量标准，帮助平台更高效地选择worker，同时大大降低计算复杂度；
本文证明了当使用MDS编码方法时，最优恢复阈值k和worker总数n成比例；
本文还证明了当worker总数足够大时，平台因为信息缺失增加的成本会消失，但不会随着worker总数增长而单调减小。

介绍

背景和动机

挑战1

如何在worker的计算成本未知(隐私)和计算时间随机(无法预估)的情况下激励worker参与分布式编码机器学习？

挑战2

分布式编码机器学习平台对于worker信息的未知程度如何影响平台的激励机制和成本？

挑战3

分布式编码机器学习平台的激励机制应该如何设计工作量以及恢复阈值？恢复阈值太小，每一个worker的工作量太大，反而可能增加总运行时间；恢复阈值太大，可能无法有效减轻straggling worker的影响。

贡献

提出一个分布式编码学习的激励机制；
使得激励机制能够解决worker差异性大的问题并且更加易于实现：将worker的多维信息归纳为一个一维的衡量标准，用来指导平台在信息缺失的情形下worker的选择，同时大大降低计算复杂度；当使用MDS编码方法时，只需要设置恢复阈值与worker总数成比例，非常易于实现；
讨论信息未知程度对于激励机制设计的影响：在信息完整的情形下，平台会给到计算性能较差的worker更多的奖励；在信息缺失的情形下，平台会给到高效的worker更多的奖励。本文还证明了当worker总数足够大时，平台因为信息缺失增加的成本会消失，但不会随着worker总数增长而单调减小。

系统模型

Platform建模

y=Ax: 计算任务
n: 矩阵行数
k: 子矩阵个数
r: 当platform从k个worker获得r组计算结果，就可以恢复y=Ax的计算结果
l=r/k: 每个worker的工作量，即计算与x内积的行数

Worker建模

计算性能

每个worker的计算时间服从两个参数(平均计算速度、计算开始的时间)的指数分布:

分析指数分布概率密度曲线可知，当worker的平均计算速度更快，计算开始的时间越短，工作量越小，其在短时间内完成计算任务的概率越高。计算时间服从的分布对platform和worker都是已知的。

计算成本

c_i: i类型worker的单位时间计算成本

Worker类型

类型m的worker:

信息场景

在不同的信息场景中，platform都知道worker的平均计算速度和计算开始的时间。

Complete information

Platform知道每个worker的单位时间计算成本c，这种情况在现实中不太可能出现，在该场景下可以计算得到platfrom成本的理论最小值，在文章中作为其他信息场景下计算的platform成本的参考标准。

Incomplete information

Platform不知道每个worker的单位计算成本c，只知道worker总数N以及每个worker类型的worker数目N_m。

两阶段的Stackelberg博弈

Stackelberg: 产量领导模型，反映企业间不对称的竞争。竞争厂商地位的不对称，会导致决策次序的不对称，小企业会观察大企业行为，再决定自己的对策。在模型中有两种厂商，一种是领导者，一种是追随者，二者的决策变量都是产量。领导者知道跟随者将如何行动(反映函数)，能预期自己决定的产量对跟随厂商影响。领导者决定的产量是以跟随者反应函数为约束的利润最大化产量，不再需要自己的反应函数。

Platform和worker的策略

训练开始前：

Platform决定计算工作量，选择倾向的worker类型以及给予这类worker的奖励
Worker决定是否参与训练以及向platform报告的worker类型

每一轮训练：

当platform收到r组计算结果时通知worker停止计算

每一轮训练结束后：

Platform根据worker的工作表现和先前报告的worker类型授予相应的奖励

Worker的收益

p_m: 奖励期望
E[T]: 整体运行时间期望
c_mE[T]: 计算成本期望
收益期望=奖励期望-成本期望
收益函数:

Platform的成本

成本=整体运行时间+支付worker的费用
成本函数:

激励机制设计(Complete information)

计算工作量和整体运行时间

由于不同类型worker的计算性能不同，易知给每个类型worker分配相同工作量不是最优方案。为了方便计算每个类型worker的最优工作量，这里假设worker的数目趋于无穷大，则不需要考虑每个worker的具体运行时间，只需要专注于最小化整体运行时间的期望。
引理1: 当worker的数目无穷大时，下面的工作量可以最小化整体运行时间的期望

m类型worker的计算性能:

由文章中等式可知计算性能与计算速度呈正相关，与计算开始时间呈负相关，合情合理。
整体运行时间期望:

理解：整体运行时间期望=总工作量/所有类型worker计算性能的期望

Worker参与决策

在complete information情况下，platform知道每个worker的类型，worker不能误报类型。
m类型worker的期望收益:

只要期望收益非负，worker就乐意参与分布式编码机器学习。

Platform选择worker和奖励

最小化服务器成本问题如下，默认给到worker的奖励刚好使得worker收益非负。目标是找到一个worker子集使得服务器成本最小。如果通过遍历的方法寻找这个子集，计算时间复杂度将会是O(2^M)。

Platform在选择worker时需要平衡计算成本和计算性能，因此需要考虑worker多维度的信息，并将多维信息归纳为一个一维标准。
工作性能(综合平均计算速度和计算性能，计算性能由平均计算速度和计算开始的时间决定，本质上是综合平均计算速度和计算开始的时间):

价性比:

定理1: 在"Complete-Hetero"场景下，存在一个边际类型如下，

此时platform选择worker的范围如下(M集合是按价性比从小到大排列的)

最优奖励期望如下，

理解: Platform一定是优先选择价性比低的worker，问题就是要选几个类型的worker。确定n^ComHet 的约束条件经证明就是E[W_n]<=E[W_n-1] 的充要条件。所以platform选择worker的策略是从价性比低的worker开始选起，如果新选择的worker使platform的总成本减小则继续选择，反之则停止选择。对于platform想要激励的worker，platform会设置奖励使得worker的收支平衡(收益为0)，而对于platform不想要激励的worker，platform会将奖励设为0。
评论1: platform可以以O(M)的时间复杂度计算S^ComHet，胜于O(2^M) 的时间复杂度。

激励机制设计(Incomplete information)

Worker的性能和成本都不同

与complete information情形不同的是，在incomplete information情形下，platform只知道worker类型总数、每个类型worker的数目以及每种类型worker计算时间服从的分布(平均计算速度、计算开始的时间均已知)。
定理2: 在"Incomplete-Hetero"场景下，存在一个边际类型如下，

此时platform选择worker的范围如下，

最优奖励期望如下，

理解: "Complete-Hetero"和"Incomplete-Hetero"最大的区别在于，"Incomplete-Hetero"场景下，platform不知道每个类型worker的成本，且worker报告给platform的成本不一定是真实的，然而platform需要根据每个worker的成本来确定给予worker的最优奖励。这里platform用一个成本阈值来确定给予worker的奖励，

求解最优期望成本需要同时优化M个变量，这里为了简化问题证明了下面等式成立，即m类型worker的最优成本阈值/m类型worker的性能=边际类型worker的最优成本阈值/边际类型worker的性能。当worker发现自己的成本不超过这一阈值时，意味着能够获得非负收益，自然愿意参与到编码机器学习中；当worker发现自己成本超过这一阈值，意味着不仅无法获得收益反而还会折本，便不愿意参与。

通过这个等式每一个类型worker的成本阈值得以确定，如此看来边际类型的确定非常重要。同样利用这个等式的思想，可以发现确定边际类型n^IncHet 的公式的意义是，platform用该边际类型确定的worker子集使得platform的总成本期望与platform的总工作性能期望的比值最小。观察"Incomplete Hetero"的最优奖励期望和"Complete Hetero"的最优奖励期望的区别，可以发现前者正是在worker的成本未知的情况下，利用上面的等式将最优奖励期望用worker的工作性能来表示。最优奖励期望的区别也揭示了两种不同信息场景下激励机制的重要区别：

在Incomplete information情形下，platform无法设置奖励，使其倾向于激励的worker的收益全部为0。worker能够获得的正收益实际就是信息租金。信息租金指一项交易活动中，交易一方凭借其信息优势获得的，高于市场平均收益的超额回报。这里worker相对于platform的信息优势是自己的实际成本，正是这一信息优势给worker带来了正收益。
由最优奖励期望的公式可以看出，在complete information情形下，因为worker成本已知且真实，platform会倾向于给成本更高的worker更高的奖励；而在incomplete information情形下，platform不知道worker的真实成本，只能通过worker的工作性能来评估贡献，所以platform会倾向于给性能更好的worker更多奖励。

推论1: platform的目标worker类型数目与platform成本中整体运行时间的价值系数大小呈正相关，与platform成本中支付worker费用的价值系数呈负相关。
理解: 因为当platform认为整体运行时间对成本影响更大时，自然会想激励更多的worker类型来减少整体运行时间；当platform认为支付给worker的费用对成本影响更大时，自然会想激励较少的worker类型来节省支出。

Worker只有成本不同

每个worker的工作量相同: l=r/k
整体运行时间期望:

命题1: 在"Incomplete-HeteCostOnly"场景下，存在一个边际类型如下，

此时platform选择worker范围如下(M集合是按成本从小到大排列的)

最优奖励期望如下，

Platform的最优恢复阈值如下:

理解: "Incomplete-Hetero"和"Incomplete-HeteCostOnly"确定边际类型的思想相同，后者是前者的一种特殊情况，所有worker的工作性能都相同。Platform给到其选择激励的worker类型子集相同的奖励期望，保证了属于这一子集的worker类型都愿意参与，不属于激励范围的worker类型都不会参与。命题1中还指出了MDS编码方法的最优恢复阈值k^* 与参与的worker总数成正比，为数据编码提供了非常易于实现的方法指导。

仿真结果

由上图可知，platform倾向于激励的worker类型数目会随着worker总数增加逐渐减少，当worker总数大于某个值时，complete information和incomplete information两种情形下的worker类型数目都变为1。

由上图可知，随着worker总数增大，不同类型worker的收益逐渐减小直至变为0。
理解: 由前文关于成本阈值的等式可知，当worker子集只包含一个类型的worker时，成本阈值就等于该worker向platform报告的成本，此时如果worker选择将自己成本报高，platform会因为其价性比变高转而选择其他worker，如果将成本报低则一定亏损，所以当worker总数极大使得worker类型之间价性比竞争激烈时，worker的只有诚实汇报自己的成本，才能让自己的收益非负。因此当worker的总数足够大时，worker类型数目足够多，platform会倾向于激励单一类型的worker，以达到最小化自身成本的目的。这就解释了为什么当worker数目逐渐增大，worker类型数目逐渐减少，worker的收益逐渐减小直至变为0。换而言之，当worker总数足够大时，platform不再需要依赖低效、高成本的worker类型，能够在只选择一个最优worker类型的情况下达到自己的目的。

由上图可知，随着worker总数增大，因为信息缺失而增加的成本逐渐减小直至变为0。
理解: 随着worker总数增大，platform逐渐减小worker类型数目，只选择相对高效、低成本的worker类型，worker之间价性比的竞争越来越激烈，为了最大化收益，worker被迫相对诚实地汇报自己的成本，如此一来incomplete information情形下worker相对platform的信息优势被削弱，自然获得的超额回报越来越少，两种信息场景下的服务器成本差值，即因为信息缺失而增加的成本会越来越小。当platform只选择单一类型的worker时，worker的最优选择是诚实汇报自己的成本，在incomplete information情形下的服务器的成本和在complete information情形下的服务器成本将完全相同。这就解释了为什么随着worker总数逐渐增大，因为信息缺失而增加的成本会逐渐减小直至变为0。