AIS 2019(ACL IJCAI SIGIR)论文研讨会研究趋势汇总

AIS 2019(ACL IJCAI SIGIR)论文研讨会

“AIS 2019”是三大国际顶级会议的全面整合。其中，“A”代表自然语言处理领域最高级别会议ACL，“I”代表国际人工智能联合会议IJCAI，“S”代表信息检索国际论坛SIGIR。这三大会议代表了全球计算机、人工智能与信息检索领域的最新成果。会议以口头报告及展板展示相结合的形式，共同探讨NLP和IR等领域的前沿发展。

会议全程视频回放

ACL 进展综述-清华刘知远

ACL2019投稿统计

大约2700篇投稿，长文1609 短文 2086（长文录用率25%）

审稿人1610，其中领域主席230人

• 热门投稿领域与ACL2018一致（比例最高的、NLP进展最快的三个方向）

  • Information Extraction
  • Machine Learning
  • Machine Translation

• 投稿量激增的比较前沿的几个方向

  • Linguistic Theories
  • Cognitive Modeling and Psycholinguistics

• ACL进展趋势总结

  • 预训练语言模型
  • 低资源NLP任务
  • 模型可解释性
  • 更多任务&数据集

  这些进展趋势总结可能并不能完美地刻画NLP发展的全貌，但一定程度上是对现在研究热门方向的一个总结，接下来将分别介绍这几个方面的最新进程。

1. 预训练语言模型

深度学习2018年最重要的一个里程碑式的工作就是大规模的无监督的文本数据建模，上图所示为深度学习近年来在NLP领域的进展，我们可以将2018年NLP的进展列为Pre-trained language models。

• 对大规模无监督文本的学习最早可回溯到2013年，word2vec可以从大规模无监督文本中学习词向量，并刻画单词之间的语义关系。

  

  • 问题：未考虑一词多义，无法处理复杂上下文的相关理解

  

  • 解决：在word2vec之后，由于LSTM、RNN、GRU、Transformer一系列更复杂的模型出现，大家认为不需要预训练模型，只需要目标任务和目标的标注数据就可以得到很好的效果。但2018年预训练的语言模型其实是对2013年word2vec模型的一个扩展，我们需要关注的是预训练模型能否将上下文的语义捕获。

    

• 预训练语言模型

  • ELMo:双向LSTM - Deep contextualized word representations
  • OpenAI GPT:单向Transformer - Improving Language Understanding by Generative Pre-Training
  • BERT:双向Transformer - BERT

  <