论文阅读--Joint Representation Learning of Legislator and Legislation for Roll Call Prediction

Joint Representation Learning of Legislator and Legislation for Roll Call Prediction

Yuqiao Yang, Xiaoqiang Lin, Geng Lin, Zengfeng Huang, Changjian Jiang, Zhongyu Wei. Joint Representation Learning of Legislator and Legislation for Roll Call Prediction. IJCAI 2020: 1424-1430

Abstract

在这篇论文中，我们探讨学习立法和立法者在预测点名结果方面的表现。最常用的方法是理想点模型，它依赖于立法者的历史投票信息来进行表示学习。这在很大程度上忽略了立法数据的文本信息。因此，我们提出结合上下文信息来学习立法者和立法的密集表示。对于立法者，我们通过图卷积神经网络（GCN）将它们之间的关系纳入其中，以学习他们的表示形式。 对于立法，我们通过递归神经网络（RNN）利用其叙述性描述进行表示学习。为了使两种表示法在同一个向量空间中对齐，我们引入了一个三重损失(triplet loss)来进行联合训练。在一个自构建数据集上的实验结果表明，与一些最先进的基线相比，我们的模型在预测点名结果方面的有效性。

1 Introduction

定量政治学(Quantitative political science )旨在通过分析立法数据来了解政府的行为方式。点名数据(Roll call data)是立法者对一系列问题进行投票的历史记录，它引起了定量政治学家的高度关注，因为它反映了立法者的行为。研究人员分析了美国国会或英国议会的点名数据，以揭示国会议员的政治倾向。立法记录的示例可以在图1中看到。每条记录都包含投票结果和有关立法及其标题和说明的信息。一项立法是由一群国会议员发起的，其中包括一个支持者和几个共同支持者。立法机构的投票结果包括赞成、反对和弃权。点名数据建模最流行的方法是理想点模型。它把立法和立法者表示为潜在空间中的点。立法者的投票行为可以表征为他/她的位置与目标立法在空间中的距离。在此背景下，研究人员试图预测立法者的投票结果。然而，立法者的位置是根据他们的历史投票结果来了解的，而忽略了其他语境信息。这导致较差的预测准确性。实际上，议员的投票行为受多种因素，立法主题，其他议员的影响，个人喜好等影响。虽然有些扩展用于合并文本信息以更好地建模立法，但理想点模型仍然缺乏捕获更丰富的立法记录上下文的能力。

为了解决此问题，我们提出结合立法记录的上下文信息来学习立法和立法者的表示，以更好地预测点名结果。。对于立法者，我们引入了立法者之间的关系，并利用图卷积网络(GCN)进行表示学习。对于立法，我们通过递归神经网络（RNN）编码其叙述性描述以进行表示学习。遵循理想点模型，我们将立法和立法者的表示映射到相同的嵌入空间中。利用三元组损失作为目标函数来共同学习两种表示。因此，立法者对目标立法的认可程度可以通过立法者表示和立法表示之间的欧几里得距离来衡量。我们从美国国会网站收集了1993年至2018年间的数据集，用于评估。本文的主要贡献有三方面。

1. 我们使用他们的背景信息代表一名国会议员，并通过图神经网络共同学习所有国会议员的密集表示。
2. 我们在同一个向量空间中对齐立法和立法者的表示，并在联合训练中引入三重损失。
3. 我们收集的数据集包括美国国会的立法记录。 这个自建数据集的实验结果表明了我们框架的有效性。

2 数据集构建

包括1993年到2018年的立法信息和点名结果。立法总数为215,857，投票记录为2,234,082。该数据集涉及2347名立法者。我们在图2a中介绍了沿时间跨度的立法数量的变化。

Legislator. 立法者是制定和通过法律的人，尤其是立法机关成员。我们的目标是美国众议院议员。根据法律规定，投票代表的总数为435人，成员的任期为两年，没有连任限制（连任率约为81.91％）。每个成员都有一个ID，并具有有关政党和州的信息。

Legislation. 立法是立法机构颁布或正在制定的法律。在一项立法成为法律之前，它可以被称为法案，也可以广义地称为立法(我们通过本文使用立法)。每个立法都属于特定的政策领域，并且具有标题和说明的相关文本信息。我们在图2b中列出了立法在不同政策领域中所占的比例。立法是由一组国会议员发起的，该国会议员由发起人和几个共同发起人组成。共同支持者的数量分布如图2c所示。

Roll call record. 点名记录包含立法者对某项立法的投票结果。投票结果有三种，即赞成、反对和不投票。 投票结果的分布见图2d。

3 Task Formulation and Overall Architecture

在给定立法和一组立法者的情况下，我们旨在预测每个立法者的投票结果。我们从符号的定义开始描述预测任务。

• 国会议员的集合 M = { m 1 , m 2 , . . . , m k } M=\{m_1,m_2,...,m_k\} M={m1​,m2​,...,mk​}.每一个成员$m_i$拥有一个ID: $m_i(ID)$,党派信息:$m_i(p)$以及州:$m_i(s)$
• 立法的集合 L = { l 1 , l 2 , . . . , l n } L=\{l_1,l_2,...,l_n\} L={l1​,l2​,...,ln​},每一项立法都有有一个描述(description):$l_i(d)$,以及一个发起者共同发起者网络(sponsor co-sponsor network): $l_i(s)$
• 点名投票记录 R = { r ( m i , l j ) ∣ 1 ≤ i ≤ k , 1 ≤ j ≤ n } R=\{r(m_i,l_j)|1\leq i\leq k,1\leq j\leq n\} R={r(mi​,lj​)∣1≤i≤k,1≤j≤n}. $r(m_i,l_j)$代表立法者$m_i$对立法$l_j$的投票结果,并且它由三个标签称为’yea’,‘nay’以及’not vote’

整个推理流程如图3所示。它主要包括立法表示学习，立法者表示学习和投票结果预测三个部分。我们利用发起者共同发起者网络(sponsor co-sponsor network)通过图卷积网络学习立法者的表示,并且基于立法的描述(description)通过递归神经网络学习立法的表示。立法者相对于立法的投票偏好通过其表示之间的相似性来衡量。然后我们根据议员的偏好(越高的偏好得分意味着越倾向于投赞成票)对他们进行排序，并根据所提供的投票比例(不同投票结果的比例)预测他们的投票结果。立法的投票比例是由语义GCN模型(semantic GCN)自动确定的。

对于训练，我们引入三元组损失(triplet loss)作为目标函数，以共同学习两种表示形式。我们将在第4节中介绍我们的联合培训框架，并在第5节中介绍比率感知结果预测模块。

4 Joint Representation Learning of Legislation and Legislators

我们探索学习密集的向量，以包含立法和立法者的复杂信息。然后，我们旨在通过联合训练在同一向量空间内对齐两种表示形式。联合学习框架主要包括三个组成部分，即基于GCN的立法者表示学习，基于LSTM的立法表示学习以及基于三元组损失的联合培训

4.1 GCN-based Legislator Representation Learning

我们根据议员的背景信息来初始化他们的表示，然后通过考虑立法者网络的GCN来更新他们的表示。

Representation initialization. 我们首先用三个成分即ID,党派,州以将每一个国会议员映射成一个低维向量 $X_{lgt}$,
$$X_{lgt}=X_{ID}(i)\oplus X_{Party}(i)\oplus X_{State}(i)\text{\hspace{1em}(1)}$$
其中$X_{ID}$表示每一个国会议员独有的ID,$X_{Party}$表示民主党或共和党,$X_{State}$表示州议员当选的州

Legislator network construction. 每个立法都是由发起人和几个共同发起人发起的。从这种政治活动中体现立法者之间的关系，即共同提出立法，是合理的。具体而言，我们将立法者视为节点，并使用发起人和共同发起人的连接作为网络的边。我们考虑了一段时间内的所有发起人和共同发起人关系，以获得邻接矩阵A。其中的元素$a_{ij}$表示$m_i,m_j$共同发起的立法的数目.

GCN-based legislator representation updating. GCN是在图上运行的神经网络，包括基于邻接节点属性的节点特征。在我们的方案中，我们利用GCN来更新基于支持者共同支持者网络的立法者表示。GCN的每一层结构如下:
$$Z=f(X,A)=A\cdot ReLu(A{X}_{input}{W}^{(0)})W^{(1)}\text{\hspace{1em}(2)}$$
其中A为网络的归一化邻接矩阵。$W^{(0)}\in R^{C\times H}$是隐藏层的隐藏权重矩阵的输入(input-to-hidden)。$W^{(1)}\in R^{H\times F}$是一个隐藏到输出(hidden-to-output)的权重矩阵。此处我们将所有立法者的$X_{lgt}$作为输入并相应地更新其表示。

4.2 LSTM-based Legislation Representation

对于立法,我们使用标题和描述进行表示学习。我们使用递归神经网络（在我们的案例中为LSTM）将立法文本信息编码为立法特征$X_{lgn}$。
$$X_{lgn}(j)=LSTM(l_j(d))\text{\hspace{1em}(3)}$$
其中$l_j(d)$表示立法$l_j$的文本信息.

4.3 Joint Training via Triplet Loss

对于推断,立法者与立法之间的距离应代表立法者对立法进行投票的偏好。因此，我们希望在同一空间内统一立法和立法机构的表示。为了实现这一目标，我们在联合训练中引入了三重态损失。
在每次训练迭代中,我们抽样了一个三批的小批量(a mini-batch of triplets)。每一项都由立法和一对立法者组成，一个立法者是积极的 $m_j^{+}$ 另一个是消极的 $m_k^{-}$ .两位立法者的投票结果应满足 $r(m_k^{-},l_i)<r(m_k^{+},l_i)$ 和规则 $YES<NotVote<No$ 。三重损失的目的是将否定立法者$X_{lgt}(k{)}^{-}$的表示与立法$X_{lgn}$的表示相较于积极立法者$X_{lgt}(j{)}^{+}$的表示，相隔距离$ϵ>0$。这是实现此目的的铰链损失形式
$$L=max(ϵ,||X_{lgn}(i)-X_{lgt}(j{)}^{+}|{|}^2)-||X_{lgn}(i)-X_{lgt}(k{)}^{-}|{|}^2\text{\hspace{1em}(4)}$$

5 Ratio Aware Voting Result Prediction

通过计算在嵌入空间中立法与立法者的欧氏踞离衡量立法者为此项立法投票的偏好。接者将立法者通过距离进行升序排序（距离越近则越有可能投票支持此项立法），使用提供的投票比率，即不同投票结果的比率，可以把立法者分类为支持者／中立者／反对者。我们利用一个基于gcn的模型来进行投票比率的预测，称之为semantic _gcn.

Legislation network construction. 将每项立法视为网络中的结点，两项立法之间的相似度为其之间的边的权重。 对每项立法用text _ rank算法提取关键字，并用关健字的glove向量的平均值作为立法的表示.基于表示形式，我们计算立法之间的相似性。

Semantic-GCN based voting ratio prediction. 利用4 .2节学习到的立法表示作为初始输入，利用gcn来更新立法的表示，将gcn的输出与初始的表示进行连接并通过一个两层的mlp回归来预测投票比率。注意，输出是一个概率分布，其中三个条目对应于三个投票结果

6 Experiment

6.1 Experiment Setup

Experimental dataset construction. 考虑到数据集中的立法项分布在一个很长的时间跨度中，我们设置了一个窗口来提取点名数据以构建多个用来评估模型的实验数据集。 具体来说，我们自1993年到2018年的数据中连续取5年的数来构建一个实验集，最终产生了具有重叠的22个分块。在每个分块中我们使用前年的数据作为训练集并用最后一年的数据作为测试集。此外我们在训练集中随机选择了20%的立法项来进行参数tuning,我们计算每一个实验集的精确度并报告这22个实验集的平均精确度来进行评诂。

Legislator network construction. 支持者和共同支持者网络可能揭开同一个时间段中立法的点名结果预测的特征信息。我们使用在一段时间中支持者和共同支持者信息来构建主法者表示学习的主法者网络。为了避免特征信息溢出（leaking),我们使用训练集构建的立法者网络来进行测试集中的立法推断。

Implementation details.用于立法者表示的gcn有2层且隐层的大小是32,立法者表示的维度是32维(16维的id, 8维的党派，8维的州）。初始学习率为1x 10^-4｡我们使用early stop来防止模型过拟合。Semantic gcn的隐层数量为32, 在验证集上调整参数。

6.2 Models for Comparison

将我们的模型与两种最先进的方法进行比较。
clinton 该模型利用贝叶斯模型计算立法者和立法者在理想点空间中的位置。立法者表示与立法表示之间的距离被用来表征投票行为。

gerrish 该模型利用立法的文本信息扩展了理想点模型，并使用文本回归来嵌入立法的立场。

我们在消融研究中针对框架中的三个组成部分采用了不同的算法，即立法表示学习，立法者表示学习和投票结果预测。 以下是比较模型的详细信息。

LSTM+Deepwalk 该模型利用deepwalk得到立法者的表示。LSTM用于立法表示学习。它将两种表示法串联起来，并使用两层感知器模型来预测投票结果。

LSTM+Node2vec 与上一个类似,不同之处在于其使用node2vec来进行立法者表示学习

LSTM+GCN 利用LSTM、GCN和二层感知器进行立法表示学习、立法者表示学习和投票结果预测。

LSTM+Party 与上一个类似除了其仅使用党派信息来表示立法者

LSTM+GCN+triplet loss 这是我们利用三重损失来共同更新立法和立法者的表述的模型。立法的投票比例是通过语义GCN得到的。

LSTM+GCN+triplet loss (GT) 我们在模型中使用实际投票率(ground-truth voting ratio)，并报告结果以供参考。

6.3 Overall Performance

不同模型的整体性能如表1所示。我们有以下发现:

• clinton的性能比所有其他方法都差,表明，忽略立法记录上下文信息的理想点模型的预测能力有限。通过合并文本信息，gerrish可以大大提高性能。
• 通过对立法和立法者使用密集表示，该预测模型取得了比clinton的经典模型更好的准确性。
• 通过比较 LSTM+GCN,LSTM+deepwalk,LSTM+node2vec,我们可以看到使用图神经网络来建立立法者之间的关系模型以进行表示学习的有效性。值得注意的是LSTM+Party的用政党信息代表立法者是很有前途的。我们将在下一小节中进一步分析这一点
• 我们的模型LSTM+GCN+triplet loss的性能表现比其他基线更好,这表明使用三重损失联合训练立法和立法者的表示的有效性。
• 与具有自动比率预测结果的模型相比，通过使用真实投票比率，该模型可以进一步提高性能。

6.4 Performance of Voting Ratio Prediction

我们进一步分析了我们的 semantic-GCN 模型用于自动投票率预测的性能表现,我们比较了四种具有不同的立法表示学习和邻接矩阵构建的模型

S-GCN-Cos-Glove我们通过对立法中包含的单词嵌入取平均来学习初始的立法表示.两个立法之间的相似度是两个表示向量的余弦相似度(cosines similarity)。然后使用两层GCN来更新用于投票率预测的立法表示。

S-GCN-Cos-LSTM 其与上衣个相似,不同在于其使用LSTM来初始化立法表示

S-GCN-Cos-Cat-LSTM 在S-GCN-Cos-LSTM之上,此模型结合了f semantic GCN和LSTM作为最终预测的立法表示.这是我们使用来预测投票比率的方法

S-GCN-Coo-Cat-LSTM 其与S-GCN-Cos-Cat-LSTM相似,不同在于其GCN的邻接矩阵是通过关键字的co-occurrence来建立的

我们使用MSE作为评估指标。得分越低，模型越好。结果见表2。S-GCN-Cos-LSTM和S-GCN-Cos-Glove的性能没有多少差距,然而S-GCN-Cos-LSTM在不同年份中的表现相对稳定.因此，我们选择LSTM继续。S-GCN-Cos-Cat-LSTM的表现比S-GCN-Coo-Cat-LSTM的更好表明了连接concatenation是有效的;比S-GCN-Coo-Cat-LSTM更好表明了当构造邻接矩阵时，余弦相似度比共现更好。

6.5 Influence of Party Stand on Voting Behavior of Legislators

同一党派的立法者往往对特定立法有相同的立场。因此，政党是投票结果预测的一个重要特征。表1中LSTM+ party的性能证实了这一点。在本小节中，我们将深入研究立法者的投票行为与其政党立场之间的关系。

Intra-party consistency.党内一致性 首先，我们将政党在特定立法方面的主要立场定义为政党成员的多数投票结果。然后，我们衡量党内的一致性，即政党中作出与主要立场相同投票决定的议员所占的百分比。对两党的所有实验数据进行平均，我们得出党内一致性为88.42%（民主党：87.05%，共和党：89.11%）。他的表现表明，有许多议员并不遵循他们所在政党的主要立场

Deviation degree of legislator立法者的偏离程度 我们说，如果立法者在投票过程中没有遵循党的主要立场，就会偏离党。我们使用下列公式来计算一个立法者$m_i$的偏离度$D{R}_{m_i}$:
$$D{R}_{m_i}=\frac{D_{m_i}}{T_{m_i}}$$
其中$D_{m_i}$是立法者$m_i$的总偏离数,$T_{m_i}$是$m_i$的总投票数,立法者的偏离程度分布如图4a所示。

Behavior prediction for legislators of high deviation degree高偏差度立法者的行为预测我们选择偏离度最高的5％立法者。他们的行为被认为更难以预测。 这些立法者的预测准确性的结果如表3所示。实验结果表明，我们的模型对于这些具有较高偏差度的立法者的行为建模更为有效。

Deviation degree of legislation. 我们进一步研究立法的偏离程度，以了解立法者在哪些政策领域倾向于以其党的主要立场进行不同的投票。我们用下式来表示立法$l_j$的偏离度$D{R}_{l_j}$
$$D{R}_{l_j}=\frac{D_{l_j}}{T_{l_j}}$$
其中$D_{l_j}$为在投票中偏离党派的立法者人数,$T_{l_j}$是此表决涉及的立法者总数。我们定义政策领域$P_k$的偏离度为其所包含的立法的平均偏离度:
$$D{R}_{P_k}=\frac{{\sum }_{l_j\in P_k}{D}_{l_j}}{\#l_j\in P_k}$$
不同政策领域的偏离度分布如图4b所示。我们可以推断，与动物、食品、体育等相关的政策领域，其偏离率较高，且与个体个性关系较强，与政党利益关系不大。

6.6 Case Study 案例分析

为了定性显示我们框架的效率，我们选择了特定的立法并获得了立法和立法者的表示.然后，我们通过PCA将表示投影到二维空间中。可视化效果如图5所示。我们可以看到，投票赞成该立法的立法者与该立法的表示关系密切，而反对该立法的人则相距遥远。这表明三元组损失将点名结果信息有效地编码为立法者和立法机构的表示。

7 Related Work

Application of Graph Neural Network.图神经网络最流行的任务就是学习网络中节点的密集表示。传统的GNN模型通常使用显式图拉普拉斯正则化，而目前的研究借鉴了单词嵌入学习的思想。后一种方法包括DeepWalk，LINE和node2vec。其他的图形嵌入方法包含了文本信息。最新的研究GCN在将图结构与有监督机器学习目标直接结合方面取得了进展。基于GCN，研究人员探索了不同的应用程序，包括语义角色标签，命名实体识别和结构化标签分类。

Roll call result prediction. 建立立法者对立法结果的政策偏好模型是现代立法行为研究的主要研究问题。研究人员以立法投票记录为依据，对立法人员的政策偏好、政治冲突问题、政党的凝聚力和党内派系的存在等问题进行推论。大部分过渡研究都基于理想点模型。[Gerrish and Blei，2012]开发了问题调整理想点模型。目前也有一些预测国会投票的博弈论模型。

8 Conclusions and Future Work

立法投票记录为依据，对立法人员的政策偏好、政治冲突问题、政党的凝聚力和党内派系的存在等问题进行推论。大部分过渡研究都基于理想点模型。[Gerrish and Blei，2012]开发了问题调整理想点模型。目前也有一些预测国会投票的博弈论模型。

8 Conclusions and Future Work

我们重点研究了基于立法数据的点名结果预测。我们为此任务建立了第一个数据集，并提出了一个框架来学习立法和立法者的密集向量，以预测点名结果。实验结果表明了该框架的有效性。在未来的工作中，我们感兴趣的是动态地进行图形卷积，以帮助描绘出国会成员的变化情况。