【论文笔记】BERT Post-Training for Review Reading Comprehension and Aspect-based Sentiment Analysis（2019）

这篇论文提出了将阅读理解技术用于网络评论数据，来避免现在电子商务机器人的回答不够灵活的缺点的一种思路。作者称这种问题为RRC(Review Reading Comprehension)，还做了一个小数据集（大概加起来只有2000多条示例数据）。作者这篇论文对我来说最大的价值在于他提出了一种BERT的后训练方法，让小数据量下训练BERT也得到了很好的效果。

1. 介绍

前面针对作者定义的RRC的一系列的介绍和定义就不说了，总之是作者把对评论数据的阅读理解单拉了出来，称为RRC。个人觉得这种形式没有技术上的创新，仅仅是把技术用到了一个新的可能的领域。

但是作者遇到了一个问题：他自己制作的数据集太小了，小到即使是用了BERT的预训练模型参数，也没法得到一个可以接受的结果。

基于这一点作者进行了分析，认为是由于数据过少，BERT中缺乏对领域知识和任务相关的知识。基于这两点，作者提出了一种后训练的解决方案，取得了良好的效果。

为了证明这一方法的泛化性能，作者也在其他两个任务（分别是aspect extraction和aspect sentiment classification，这两个实验不在本笔记中展开描述）上做了实验，取得了良好的效果。

2. 方案

对抽取式阅读理解的问题定义在这里不详细描述，之前的笔记中定义过很多次了。作者设计的网络如下，基本只是在BERT后，针对起始位置和终止位置分别接一层全连接，然后softmax分类。是一种很简单的实现方式。