【论文向】Automatic Academic Paper Rating Based on Modularized Hierarchical Convolutional Neural Network

【论文向】ACL2018-学术论文自动评分AAPR

Automatic Academic Paper Rating Based on Modularized Hierarchical Convolutional Neural Network

---

注：论文阅读笔记仅帮助大家快读了解、知晓论文的创新点、重点等，如需详细掌握请点击上方标题自行阅读，在此是存在一定博主和读者偏见的，有任何问题欢迎留言指正或讨论。

Humble opinion

愚见总结：

AAPR，学术论文自动评分的开山之作。
任务角度上：任务思考直接、角度简单清晰，以arxiv上论文是否被accepted作为二分类指标，进行学术论文的评分（笔者最初也是这个想法，长文本二分类任务:），但并没有想到module，在上述4.1中可以看出若不考虑module论文组成部分的话，会掉6.4个百分点的准确率。以及在论文是否被accepted上Authors是最重要的这一结论也是很值得思考的。
模型角度上：Modularized Hierarchical CNN，一种层次化CNN，类似于CNN的pooling部分引入attention

 
以下结构均为原始论文书写结构

Abstract

本文首次提出一项任务：automatic academic paper rating（AAPR），学术论文自动评分。并为此任务建立了一个数据集，提出了一种hierarchical convolutional neural network 层次化卷积神经网络。

通俗而言，AAPR即长文本二分类任务，通过数据集进行二分类训练，分类指标是投递论文是否被期刊接受。

代码链接：Github

1 Introduction

与AAPR十分相似的任务便是 automatic essay scoring（AES）自动作文评分。AAPR是首次被提出的，但AES已经有一定研究历史了。Project Essay Grade (Page, 1967, 1968)被认为是早期解决AES任务的初始方法，通过专家构造的文本特征+线性回归来预测作文分数到之后使用语法、词汇和风格特征等，这些传统方法几乎可以和人工评分一样有效。然而他们都太过依赖人为特征工程和专家知识。

在AES方面：最近的研究转向深度神经网络，使用神经网络替代大量的特征工程。在此有这些方法：LSTM+LR、 C&W embedding、Convolutiona layer+RNN、two-layer CNN（first layer encode sentence、second layer encode essay）、attention

值得注意的是，上述列举的方法大都是在研究AES作文自动评分上，却没有用于或研究AAPR论文自动评分上。与作文不同的是，论文有着更长的文本、和除写作因素外的诸多因素。因此本文提出了一种能将学术论文多方面信息进行考虑的模型，包括title、authors、abstract and the main content of the LATEX source file

AAPR论文主要贡献：

• 首次提出学术论文自动评分任务，并为此建立了一个数据集
• 提出了一种MHCNN模型来考虑论文的多个结构层次信息，实验结果表明该模型优于大多数baselines

2 Proposed Method

学术论文通常由几个部分组成，如摘要、标题等。各个部分间有word-level至sentence-level。MHCNN模型大致如下图：

假定一篇论文有 l 个部分和 m 个单词数，与filter size为h。上图中l,m,h = 3,3,2

2.1 Modularized Hierarchical CNN

一篇论文由l个部分组成（abstract, title, authors, introduction, related work, methods and conclusion），即：
paper $r$ = several modules $(r_1,r_2,...,r_l)$

每个部分中的第i个单词$w_i$被词嵌入为$x_i$，并使用attention-based CNN通过word-level的$x_i$获得sentence-level的第i个句子$s_i$，以及另一个attention-based CNN被用于去编码（encode）sentence-level 来表示module-level第i个部分$m_i$

对于标题，因为只有一句话，故仅用word-level的 attention-based CNN来得到module-level的讯息是合理的。而对于独立的作者用下面公式来得到module-level的表示

$r_i$为权重，${\alpha }_i$为第i个作者的embedding向量，$A$是作者序列最大长度

得到所有的module-level $m_1,m_2,...,m_l$后，通过加权池化将其聚合在一起表示为paper-level representation $d$，之后用这个d代表整篇论文做二分类预测，emmmm，不知道为何要特意给出下面的二分类softmax公式

2.2 Details of Attention-Based CNN

Attention-based CNN consists of a convolution layer and an attentive pooling layer.

• convolution layer: capture local features
• attentive pooling layer: decide the relative weights of words, sentences, and modules

1. convolution layer
   

长度为m的sequence中的每个词用k维词向量表示为x，即sequence = [x1,x2,…,xm]；$W_x$表示filter

◦ 表示同位元素对应相乘。f表示激活函数，

emmm，其实就是标准的卷积公式

2. attentive pooling layer

经过convolution layer可将一个sequence表示成$c^1,c^2,...,c^q$，每个q有n 维的向量表示

有注意力机制的池化，通俗而言加权池化

3 Experiments

先介绍评估模型的数据集、评测指标和实验细节，之后与baseline比较，最后给出对实验结果的分析和探讨

3.1 Dataset

Arxiv Academic Paper Dataset：通过 https://arxiv.org/ 收集了19，218篇学术论文，并有是否被accpted的标签。划分成如下数量的训练集、测试集、验证集

3.2 Experimental Details

使用accuracy而非F-score、precision或recall，因为在该数据集中正负样本均衡。（很直接，确实，对于大多数二分类数据集，若正负样本有过大偏差，是绝对不能使用准确率作为评测指标。举个例子，100个样本90个负10个正，一直蒙负，将约有90%的准确率；以及样本类别的均衡性保证了他们无需使用技巧，在后续文本分类中如2020ACL的一篇类似论文自动评测中就有并需要样本采样技巧）

因为作者名字是与一般的论文词汇不同的，故为这个数据集的作者单独建立了一个作者词汇表和论文中的词汇表。作者词汇表大小为20，000、论文词汇表为50，000。但两者embedding大小一致，均为128

在训练技巧上沿用了(Zhang and Wallace ,2015)使用CNN分类器根据验证集的准确性来调整超参数，batch_size = 32，优化器Adam，以及使用了Dropout防止过拟合，并使用裁剪梯度 (Pascanu et al., 2013)法控制梯度最大值为5

以验证集最优选择了最终训练出的模型。

3.3 Baselines

RP：瞎蒙，二分类0.5准确率（注意正负样本的平衡性）
CART、MNB、SVM、Bagging、Logistic等：传统机器学习模型，通过tf-idf向量表示的文本进行训练预测
NN model：深度学习模型，CNN、LSTM、C-LSTM，将一篇论文的所有部分组在一起作为一个长文本作为深度学习模型的输入

3.4 Results

sota

4 Analysis and Discussions

分析方法类似于传统机器学习中的特征选择的封装法，一个一个去特征看目标函数的变化来决定这个特征如何

去掉attention或module的分数如上图

4.1 Exploration on Internal Structure of the Model

根据上图，可知这个模型设计的结构好…

The Impact of Modules of the Source Paper

这里还是很有趣的，Authors是所有部分中最重要的，啊，确实，蛮有道理的，学术论文的研究进步通常也是由列害的学者逐年优化产生的。

5 Related Work

借鉴AES，自动作文评分，几乎照搬1 Introduction的第二段

6 Conclusions

本文提出了学术论文自动评分(AAPR)的任务，目的是对学术论文是否接受进行自动评分。针对这一问题，我们利用一篇源论文的结构，提出了一种新的MHCNN（层次CNN，模块化分层CNN）。实验结果表明，该模型的性能优于各种基线。此外，我们发现，在不考虑作者因素的情况下，结论部分和摘要部分对源论文能否被接受的影响最大。

7 Acknowledgements

Reference

参照原论文，不再阐述