每天一篇自然语言处理论文：202004

0401
Unidirectional Neural Network Architectures for End-to-End Automatic Speech Recognition
用于端到端流式语音识别的单向LSTM模型结构分析

1
端到端ASR模型中，以往的语音识别模块结构变成了单一的神经网络，这要求模型能处理更长的上下文信息，目前，双向LSTM(BiLSTM)已经在这方面取得了相当好的效果，但是并不适合流式语音识别。作者以此为出发点，讨论了现在流行的几种单向LSTM网络模型以及基于延时控制(latency-controlled)的BiLSTM，并且以此为基础提出了两种更好的TDLSTM(time-delayed LSTM)，并且在中英文语音数据集上进行了验证

2
本文专门讨论网络模型设计，一方面，为了保证公平，对作为baseline的模型均做了一些优化，同时简化了输入输出模块，除了“Kaldi”-TDNN-LSTM模型在大型训练集上出现了内存溢出，其他模型均在包括延时控制、模型参数数量等方面均很接近的条件下进行训练，另一方面，作者对于如何设计一个满足需求的神经网络模型讲解的很细致，有一种读教材的感觉。因此，我还特意去搜到这个作者的个人网站，的确是个牛人http://www.jonathanleroux.org/

0402
CopyMTL: Copy Mechanism for Joint Extraction of Entities and Relations with Multi-Task Learning
CopyMTL: 命名实体识别和关系抽取多任务学习联合模型中的复制机制

1
CopyRE是一种基于seq2seq结构的非常优秀的关系抽取模型，作者针对CopyRE存在的首尾实体(head and tail entities)无法区分、无法匹配多字符实体(multi-tokens entity)的问题进行了分析，并且提出了自己的改进模型CopyMTL

2
作者详细的讲解了CopyRE的原理，并从理论的角度分析了CopyRE存在如上问题的原因，进而使用以selu为激活函数的全连接层解决了首尾实体无法区分的问题，使用结合了NER的多任务学习来解决无法匹配多字符实体的问题，同时在多个数据集上达到了SOTA

3
这里使用多任务学习来优化CopyRE，并且给出了代码，从文章上来看，应该是根据CopyRE作者的代码进行改进的，对于想利用多任务学习来优化自己模型的同学有很大的参考意义

4
此外，提个疑问，如果反过来，是不是也可以使用copy mechanism来优化基于序列标注的关系抽取模型呢？

0403
Entity-Relation Extraction as Multi-turn Question Answering
利用多轮问答模型处理实体-关系抽取任务

1
如今NLP领域很多研究人员将非QA(question answer)的任务转换成QA问题，取得了不错的效果，受此启发，作者提出了使用设计了一种问答模型的新模式来处理事件抽取任务，其核心部分是：针对首实体(head entity)和关系(relation)分别设计了一种将实体转换为问题(question)的模板，并通过生成答案(answer)来依次抽取head entity和整个三元组。同时，本文参考了对话系统中利用强化学习来进行多轮任务的思想，设计了多轮问答模型

2
本文涉及到事件抽取、问答系统、阅读理解、强化学习等多个NLP方面的知识，并提出了一个有利于事件抽取的中文数据集，在多个数据集上均达到了新的SOTA

3
从作者的数量能看出，他们做了大量的工作，对于个人来说可能很难复现他们的实验，但是其融合NLP多个领域来进行模型的优化的思想，很值得学习

0404
Knowing What, How and Why: A Near Complete Solution for Aspect-based Sentiment Analysis
学习(what,how,why)三元组: 一种几乎完美的基于方面的情感分析模型

1
本文的核心内容是由阿里巴巴达摩研究院提出的一个三元组抽取模型，并以此将方面信息抽取(aspect extraction)、方面所属情感种类(aspect term sentiment classification)、态度词(opinion term extraction)等子任务合并在一个模型中解决。其主要的思路是定义一个包含了方面、情感、态度词信息的三元组<what,how,why>，以此为基础设计了两阶段的模型，第一步主要是三个序列标注任务，第二步两个序列组合生成三元组
2
本文在模型设计方面有很多值得深思的亮点，简单说几个让我印象最深的，其一，第一个序列