Countering the Influence of Essay Length in Neural Essay Scoring学习

《 神经网络作文评分中作文长度的影响》学习总结

1. Introduction

前人认为AES系统不能依赖于论文长度，这是一个与写作熟练程度无关的因素。

2.Contribution

• 我们首先表明，即使是神经作文评分系统也可能受到标准数据集中作文长度和分数之间的相关性的影响。
• 其次，我们证明了在不考虑文章长度的情况下考虑文章内容可以提高神经文章评分系统的性能。
• 通过评估输入文章和分配了不同分数的文章中的单词分布的相似性来考虑文章内容

3.Models

• 一种操纵文章长度的神经模型:
  为了考察文章长度的影响，我们提出了一个简单的控制文章长度的神经模型，该模型由平均的RNN输出组成。我们不是用文章的实际长度来归一化RNN输出的总和，而是用提示中的平均文章长度来归一化它们。人们的直觉是，按照平均文章长度来归一化，会对较短的文章造成不利影响。由于一篇作文的符号数量较少，因此它们的RNN输出数量也较少，而相同的分母适用于同一提示中的所有作文。这使得一个简单的RNN模型能够更好地捕捉到文章长度的影响。

• 一种评价文章内容相似性的神经模型:
  我们提出了一个神经模型，该模型通过评估输入文章和分成三个不同级别：低、中、高三个不同级别的文章中的单词分布的相似性来考虑文章内容。将分数分成三个级别使模型能够处理每个数据集的不同分数范围。

4.Data Sets

本次实验包括两个数据集：ASAP和TOEFL。
TOEFL是非外国学生进入大学的标准英语考试。这一数据集并未普遍用于AES，而已被用作另一项共享任务–母语识别的标准数据集。
ASAP数据集地址：https://www.kaggle.com/c/asap-aes

5.Result

该方法在ASAP数据上 QWK 0.786，在TOEFL数据上Acc 0.728。神经作文评分系统应该关注文本质量，同时应该考虑目标数据集的特征。