《中国人工智能学会通讯》——12.35 众包工人的领域差异性

12.35 众包工人的领域差异性

与简单的众包任务（如图片标注、实体识别）不同，众包工人在知识补全任务中会存在领域差异性。例如，篮球迷擅长回答与 NBA 相关的知识元组，而电影爱好者则更容易答对电影相关的任务。我们通过实验说明这种领域差异性。图 2 给出了工人在不同领域完成任务的准确率（具体数据集描述和众包任务收集见文献 [34]），其中每一行表示一个工人，用匿名的工人 ID 标识；每一列表示一个领域，如 Hunting、Philosophy 等；每个格子中柱的长短表示工人在相应领域的准确率高低，柱旁边的数字表示准确率数值。
通过图 2 可以明显地看到众包工人的领域差异性：从行的角度看，同一工人在不同领域的准确率差别很大。例如，第一个工人在 Book & Author 领域准确率高达 0.875，而在 FIFA 领域准确率低至0.176。另一方面，从列的角度看，不同领域的“专家”（即准确率最高的工人）差异性也很大。例如，Hunting 和 FIFA 领域的前 3 名专家有很大不同。

众包工人的领域差异性给任务分配和众包答案的聚合带来了更大的挑战。现有工作侧重研究众包任务分配与众包结果聚合，先后提出了多数投票策略[35]和众包工人准确率估计[36-38] 。然而，领域差异性使单一的准确率不能反映工人在不同领域不同的准确率，可能带来以下结果，首先，在某一领域表现出色的工人，在另一领域可能表现平平，甚至提供很差的结果；其次，传统众包质量控制的重要手段考试（Qualification Test）可能不再有效。