【IJCAI 2020】篇章要素识别和篇章结构评分（下）

点击下面卡片，关注我呀，每天给你送来AI技术干货！

来自：哈工大讯飞联合实验室

本期导读：篇章要素（Discourse Element）是指篇章单元在一篇文章中的作用和贡献。在篇章结构评分任务中，使用篇章要素来表示篇章结构是一种有效的表示方法。本文通过两篇发表于EMNLP 2020和IJCAI 2020的论文，分别介绍篇章要素识别和基于篇章要素识别的篇章结构评分的研究工作。

本期是该系列推送的下期，介绍发表在IJCAI 2020上的工作，介绍基于篇章要素识别的篇章结构评分的相关研究工作（勘误：标题应为IJCAI 2020）

•••

Hierarchical Multi-task Learning for Organization Evaluation of Argumentative Student Essays

论文作者：宋巍，宋子尧，刘丽珍，付瑞吉

论文地址：https://www.ijcai.org/proceedings/2020/0536.pdf

项目地址：https://github.com/cnunlp/Chinese-Essay-Dataset-For-Organization-Evaluation

引言

篇章结构（Discourse Organization）是写作中的一个重要方面。一篇有条理的文章可以通过清晰的结构编排与连贯的语义和结构，来准确地和有逻辑地表达观点。文章中篇章要素的数量分布和位置分布是评价篇章结构质量好坏的重要内容。并且使用篇章要素表示篇章结构，使其更具有可解释性。

动机

已有的使用篇章要素来表示和评估篇章结构质量的方法仍然有一些不足：

• 首先，在篇章要素识别上现有的方法主要还是依赖于启发式规则或者人工构造的特征。这些规则太粗糙，很难泛化到其他语言，并且人工构造特征严重依赖于专家知识。

• 其次，篇章要素识别和篇章结构质量评估通常是分步进行的，先识别出篇章要素再利用识别出的篇章要素来评估篇章结构质量。这种方法忽视了两个任务之间的交互，前面任务识别错误可能会严重影响后续任务的效果。

• 最后，如何有效地整合不同层次的篇章要素，以更好地体现篇章结构质量，也是值得研究的问题。

使用层次神经网络模型和多任务联合学习方法，以端到端的方式对篇章要素识别和篇章结构质量评估进行联合建模，减少对人工构造特征的依赖。通过使用一种考虑了文章的视觉布局的网格式篇章要素组织方法，可以有效地利用篇章要素表示篇章结构。

模型

按照语义层次，针对3个层次任务进行建模：句子功能识别任务（SFI）、段落功能识别任务（PFI）和结构质量评估任务（OE）。句子功能和段落功能及其对应的篇章要素类别。本文采用层次结构模型对这三个任务进行建模。

图中右侧为网格式篇章要素组织方法。在网格G中，每一行对应一个段落，每行的第一列为该段落的索引，后面为段落所包含的句子在全文中的索引。在计算时，根据网格G中的索引，用对应的句子功能表示和段落功能表示进行扩展。扩展后的网格表示可以看作通道数为表示维度的图片。然后仿照图片分类的方法，使用CNN进行特征提取和分类。

在联合训练时，将这三个任务的损失相加：

由于这三个任务来自不同的语义层级，相互之间具有依赖关系，特别是篇章结构质量评估任务依赖于句子和段落的功能识别任务。因此使用一个超参数γ来控制在训练不同阶段篇章结构质量评估任务的权重。使用以下方法更新权重γ：

实验时将γ初始化为0.1，使得开始时主要优化层次较低的任务。后面随着句子功能识别任务的收敛，篇章结构评估任务的权重γ不断增大。尽可能保证二者同步收敛。

实验

实验表明，在句子功能识别任务上多任务联合训练是有效的，段落功能识别任务和篇章结构质量评估任务能够为句子功能识别带来积极的影响。对于段落功能识别，联合句子功能识别任务得到了最佳的表现。

从篇章结构质量评估实验结果中可以看出，相较于不使用篇章要素的Baseline模型，考虑篇章要素的各种方法都获得了更好的结果。多任务联合学习方法比分步学习方法更加有效。并且本文提出的网格式表示方法，获得了比传统的序列式表示方法更好的表现。

结论

1. 多任务学习方法相较于单任务方法在篇章要素识别任务和篇章结构质量评估任务上都获得了明显的提升；

2. 在篇章结构质量评估任务上，相较于分步训练方法，联合训练方法表现更好；

3. 使用网格式方法组织篇章要素来表示篇章结构对于议论文篇章结构质量评估任务是有效的。

篇章结构分析应用

随着大规模考试中议论文写作的占比越来越大，议论文篇章结构分析的研究也逐步引起了人们的高度关注，相关研究成果不仅可以应用于智能写作辅助系统，还可以帮助教师更加高效地进行作文批改，为学生提供快速、有效的反馈以及推荐有针对性的学习资料。由于议论文写作不仅可以测试考生综合运用语言的能力，还可以测试考生的逻辑思辨能力。因此人们希望议论文质量自动评估可以从教与学两方面提高议论文写作学习的效率、效果，缓解教育资源不均衡和区域不均衡等问题。

将篇章结构分析应用在学习机和作业批改场景中，既可以帮助老师快速识别学生作文中的要点和关键点，辅助老师更加高效地对作文进行评价；也可以帮助学生发现写作中的不足，有针对性的帮助学生进行写作能力的提升。

篇章结构分析有助于其他作文批改相关的任务，例如中心明确等任务。并且篇章结构分析结果也能通过定位作文中的各种成分，辅助阅读理解类任务。

下图为篇章结构分析在语文作文批改中的应用：

参考文献

[1] Song W, Liu L Z. Representation learning in discourse parsing: A survey[J]. Science China Technological Sciences, 2020: 1-26.

[2] Yang Z, Yang D, Dyer C, et al. Hierarchical attention networks for document classification[C]//Proceedings of the 2016 conference of the North American chapter of the association for computational linguistics: human language technologies. 2016: 1480-1489.

[3] Stab C, Gurevych I. Parsing argumentation structures in persuasive essays[J]. Computational Linguistics, 2017, 43(3): 619-659.

[4] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. 2017: 6000-6010.

[5] He K, Zhang X, Ren S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2015, 37(9): 1904-1916.

原文：宋子尧

编辑：HFL编辑部

说个正事哈

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

点击上面卡片，关注我呀，每天推送AI技术干货~

整理不易，还望给个在看！