Improving Peer Assessment with Graph Neural Networks

ABSTRACT

同行评估系统(Peer assessment systems)在许多环境中出现，例如大型（在线）班级的同行评分、会议中的同行评审、同行艺术评估等。然而，同行评估可能不如专家评估准确，从而使这些系统不可靠。同行评估系统的可靠性受到各种因素的影响，如同行的评估能力、他们的战略评估行为和同行评估设置（例如，同行评估小组工作或他人的个人工作）。利用我们的同行评估网络模型，我们引入了一个图神经网络，它可以学习评估模式和用户行为，以更准确地预测专家评估。我们对真实和合成数据集的广泛实验证明了我们方法的有效性，它优于各种同行评估方法。

1. INTRODUCTION

同行评估系统已成为一种具有成本效益且可扩展的评估机制，适用于许多环境，例如大型（在线）班级的同行评分和会议中的同行审查。在这些系统中，同行评估彼此的工作（例如作业、论文等），而不是一组预先任命的负责评估的专家（例如教员、助教、项目委员会成员等）。这些同行评估系统不仅使对数千份贡献的评估变得合理，而且有助于加深同行的理解[22]，并促进同行相互提供反馈[20]。然而，同行评估系统的可靠性直接受到同行评估准确性的影响。同行可能缺乏准确评估他人的知识或动机，或者他们可能为了自己的利益而在评估中具有战略性[1,12,11,2,15,34,25,21]。

Related work.

采用两类方法解决可靠性挑战。一个主要专注于设计防策略的同行评估机制，激励同行准确地相互评估[6,24,9,16,11,35,32]。另一类方法——与我们的工作最相关——强调学习同行聚合机制，它聚合一个项目（例如，作业或论文）的嘈杂同行评估，作为对其基础价值（或专家评估）的估计[19,27,7,30,4]。

Contribution.

2. PROPOSED APPROACH

2.1 Social-Ownership-Assessment Model

假设集合$\mathcal{U}$中$n$个users可以测评集合$\mathcal{I}$中的$m$个items. 每个item $i\in \mathcal{I}$对应一个真实值$v_i\in \mathbb{R}$.

user-item评估可以用评估矩阵(assessment
matrix)$\mathbf{A}=[A_{ui}]$ ，$A_{ui}$是user $u\in \mathcal{U}$对 item $i\in \mathcal{I}$的评估分值。当$u$对$i$的评估缺失时，令$A_{ui}=0$，其他情况下$A_{ui}\in {\mathbb{R}}^{+}$。由于评估矩阵$\mathbf{A}$是稀疏的，我们用一个无向有权二部图来表示它。节点有两种类型，分别是user 和 item。两类节点之间的边为评估分值。

Social-Ownership-Assessment Network (SOAN)是一种无向加权多图，由用户和项目两种节点类型上的社交、所有权和评估关系三种边组成。除了评估矩阵$\mathbf{A}$，该网络还有另外两个邻接矩阵：社交矩阵(social matrix)$\mathbf{S}=[S_{uv}]\in {\mathbb{R}}^{n\times n}$和所有权矩阵(ownership matrix)$\mathbf{O}=[O_{ui}]\in {\mathbb{R}}^{n\times m}$。我们令$G=(\mathbf{S},\mathbf{O},\mathbf{A})$表示SOAN的三元网络组。

Expressiveness.

Less Assumptions.

2.2 Graph Convolutional Networks

给定一个SOAN $G=(\mathbf{S},\mathbf{O},\mathbf{A})$和一组item子集$\mathcal{D}\in \mathcal{I}$及其真实评估值 V D = { v j ∣ j ∈ D } V_\mathcal{D}=\{ v_j | j \in \mathcal{D} \} VD​={vj​∣j∈D}，我们的目标的预测$v_i$，且$i\notin \mathcal{D}$。
预测函数为：
$$f(i|\theta ,G)=\sigma ({\mathbf{w}}^{(o)}{\mathbf{z}}_i+b^{(o)})(1)$$
其中$\sigma (\cdot )$是sigmoid函数，${\mathbf{w}}_o$和${\mathbf{b}}_o$是输出层的可学参数。

节点${\mathbf{z}}_i$的嵌入是用$k$层图卷积网络计算得到。设${\mathbf{H}}^{(l)}$是所有用户$\mathcal{U}$和项目$\mathcal{I}$的第$l$层$d$维节点嵌入矩阵，用户$u$和项目$i$的向量嵌入分别位于第$u$行和第$(m+i)$行。在(1)中，项$i$的嵌入${\mathbf{z}}_i$是${\mathbf{H}}^{(K)}$的第$m$行，更新规则为
$${\mathbf{H}}^{(l+1)}=g^{(l)}({\mathbf{D}}^{(-1)}\mathbf{M}{\mathbf{H}}^{(l)}{\mathbf{W}}^{(l)})(2)$$
矩阵$\mathbf{M}$由图 $G=(\mathbf{S},\mathbf{O},\mathbf{A})$由 $\mathbf{M}=\left(\begin{array}{cc}\mathbf{S}& \mathbf{P}\\ {\mathbf{P}}^T& 0_m\end{array}\right)+\mathbf{I}$构造而成，其中$\mathbf{P}=\mathbf{O}+\mathbf{A}$，$0_m$是$m\times m$零矩阵， $\mathbf{I}$是单位矩阵。

Richer data as node-level features.

Learning.

3. EXPERIMENTS

Synthetic datasets.

Baselines.

Experimental setup.

Results: Real-World Datasets.

Results: Synthetic Data with Bias-Reliability.

Results: Synthetic Data with Strategic Assessment.

Discussion.

4. CONCLUSION AND FUTURE WORK