协同众包工作流的聚合贡献的模型

作者

Yili Fang1, Hailong Sun1, Richong Zhang1, Jinpeng Huai1, Yongyi Mao2
1School of Computer Science and Engineering, Beihang University, Beijing,China
2School of Electrical Engineering and Computer Science, University of Ottawa, Ottawa, Canada
ffangyili, sunhl, zhangrc, huaijpg@act.buaa.edu.cn, yymao@site.uottawa.ca

摘要

研究有效的质量控制方法，降低成本，保证任务处理质量是众包最重要的课题之一。作为一种有效的方法，迭代改进工作流可以从多个工作流中选择最佳的结果。然而，对于复杂的众包任务，在某些特定的约束下由一定数量的子任务组成，但不能拆分为众包的子任务，该方法只考虑最佳的工作流，而不整合所有工作流的贡献，这可能导致更多迭代的额外成本。在本文中，我们提出了一个装配模型来整合来自不同工作流程的子任务的最佳输出。此外，我们还设计了一种基于POMDP的高效迭代方法，以提高装配输出的质量。实证研究证实了该模型的优越性。

简介

在众包中，迭代改进工作流是获得更高质量输出的有效途径。为了改进迭代工作流，研究人员主要提出了图1所示的三个模型。阴影圆圈表示当前迭代中不同工作流的输出，空圆圈表示下一次迭代的输入。自由选择模型自由地使用以前的每一个输出进行进一步处理（Yu和Nickerson 2011），这会产生太多的成本。单一选择模型选择当前的最佳输出作为下一次迭代改进的基础。有一种特殊情况（Dai等人2013）其中只有一个工作流在运行，下一个迭代的输入是通过在前一个迭代的输出和当前迭代的输出之间选择最佳的一个来确定的。虽然单一选择模型易于实现，但它忽略了大多数工人的贡献，因此可能需要更多的处理迭代。为了解决单一选择模型的缺点，开关模型（Dai等人2013）建议在备选工作流之间进行动态切换，这本质上是一个动态的单一选择模型，也不提供一种有效的方式来汇总不同工人的贡献。

图 1： 三个工作流模型

本文旨在解决一类常见的众包任务，即上下文敏感任务（CST），每个任务在一定的约束条件下由一定数量的子任务组成，但不能分割成微任务进行众包。当以不同的方式发布相同的CST时，每个CST都将通过工作流进行处理。由于现有的三个模型都不适用，因此我们设计了一个组装模型来聚合每个工作流的贡献，并使用聚合结果对单一选择模型进行下一次改进迭代。然后，将CST质量优化问题转化为部分可观测马尔可夫决策问题（POMDP）（Dai等人2013）解决。实验结果表明，该方法优于单一选择模型。

我们的模型

我们的模型旨在解决一类常见的众包任务，即CST，它有两个特点：（1）CST任务T由M个子任务组成，每个子任务的处理在一定的上下文中是相关的；（2）因此，每个子任务不能用作众包的HIT。本文提出了一种基于POMDP的迭代控制模型，以获得低成本、高质量的控制结果。所提议的体系结构的示意图如图2所示，它显示了我们模型的一般过程。

图2： 装配模型的迭代改进工作流

任务调度程序 任务调度程序负责接收CST任务，并将其调度为众包。任务调度程序以不同的方式将同一个上下文相关的任务分发给多个工作人员，每个工作人员只有一个工作要完成。与其他模型类似，每个工人都向我们的模型提交输出。

输出装配 收集所有参加众包的工人的CST结果，并重新装配CST子任务的结果，以汇总协同众包工作流的贡献。给定一个CST T( T = { t j } T=\{ t_j \} T={tj​})包括M个子任务，N个工人处理T，输出矩阵表示为O=($o_{ij}$)，其中$o_{ij}$是工人i为子任务$t_j$($0\le i\le N,0\le j\le M$)生成的输出。我们使用$O_{.j}$表示子任务$t_j$的输出向量，$O_{i.}$表示工人i的输出向量。根据所有子任务，我们可以重新组合一些CST输出用CSTI表示，并得到小于$N^M$的CSTIs。为了确定当前迭代中CST的最佳结果，让$p(o_{ij}=K/N)$测量子任务结果$o_{ij}$的精度，其中K是$t_j$具有相同输出的的$o_{ij}$的工人数量。我们根据所有$I_T$定义的所有CSTIs的子任务结果的精度来定义关系$\prec$(部分顺序)，并了解$⟨I_T,\prec ⟩$是部分顺序集。这个事实确保所有结果都有一个最大元素集。如果部分有序集中有一个以上的极大元素，我们通过伯努利大数定律来衡量工人能力，选择最佳的CSTI，否则最大值就是CST的最佳结果。

结果评估 决定了前一个结果是否得到改善，得到的装配结果是否足够好提交，通过在线规划算法应用POMDP模型进行判断。在结果评估中，从以前的最佳CSTI和当前的最佳CSTI中选择一个更好的作为最终结果提交或输入下一次迭代运行是典型的自动控制问题。让$q_c\in [0,1]$和$q_{c+1}\in [0,1]$表示以前最好的CSTI和当前最好的CSTI的质量，这意味着工人有可能在当前迭代中改进我们最好的CSTI。因为$(q_c,q_{c+1})$只是部分可观测的，所以这个问题可以被公式化为一个POMDP，已有很多方法可以解决它。

综上所述，我们运用偏序理论和伯努利大数定律来确定当前迭代的装配结果，并利用POMDP迭代改进众包过程。

实验

实验设置

为了评估模型的有效性和所需时间，我们进行了模拟。带有M个子任务的CST用M个对象的池进行模拟，每个对象表示一个子任务。每个对象都包含ID和难度。ID表示子任务的唯一标识，难度表示完成子任务所需的努力。每个工人生成一组对象来模拟CST的输出，其中包含工人处理的子任务的ID和工人的技能卓越性，其中ID遵循高斯分布$N(\mu ;{\sigma }_i^2)$，而技能卓越性表示子任务的输出是否正确。当工作进程生成的对象等于池中的对象时，则会准确处理此子任务。我们使$R_s=\frac{Z}{M}$作为基于精度的奖励函数，其中Z表示处理精确的对象数，M表示子任务数。

与单一选择模式相比

我们调用ZMDP包在迭代工作流中进行决策。通过装配模型和单项选择模型对300个子任务组成的CST进行了模拟。图3说明组装模型的精度高于从第0次迭代到第90次迭代的单一选择模型。此外，装配模型可以在70次迭代中得到精度为0.93333的最终输出，而单一选择模型可以在90次迭代中得到精度为0.9的最终输出。这里，在相同的条件下，结果表明我们的模型将花费更少的时间来获得更好的结果。这些实证研究证实了我们提出的模型的有效性。

图3： 任务运行的不同迭代中两个模型的结果精度比较

结论

在本文中，我们提出了一个新的集合模型来集合协同众包工作流的贡献，并利用POMDP方法来控制迭代工作流的质量。模拟结果表明，我们的模型比单一选择模型具有更高的质量，可以在对人群进行相同数量的众包请求的情况下完成CST的处理。

参考文献

Dai, P.; Lin, C. H.; Weld, D. S.; et al. 2013. Pomdp-based control of workflows for crowdsourcing. Artificial Intelligence.
Yu, L., and Nickerson, J. V. 2011. Cooks or cobblers? crowd creativity through combination. In Proc.of CHI’11, 1393– 1402. ACM.