NLG简要调研(data2text+(Abstractive) Summarization)

• 目录

  NLG简介：

  典型任务：

  文本生成方法

  一、Data2text方法

  早期方法：

  基于NN方法：

  基于神经机器翻译（Neural Machine Translation）

  基于神经语言模型（Neural Language Model）

  二、生成式自动摘要生成(基于NN)

  最新模型：

  评价指标：

  客观评价指标：

  主观评价指标：

  数据集：

  应用：

  ---

  NLG简介：

  • 我们认为NLP = NLU + NLG，NLU-Neural Language Understanding指的自然语言理解，NLG-Neural Language Generation指的自然语言生成，两者是相辅相成的。具体NLG 可以按照输入输出分为两大类：
    • 1.text – to – text：文本到语言的生成
    • 2.data – to – text ：数据到语言的生成

    • 典型任务：

      • (Abstractive) Summarization
        • 生成式摘要基本遵循Encoder-Decoder的框架，对输入文本encode成一个表示(编码)，然后使用decoder生成摘要。使用基于attention的Encoder和Decoder是目前的主流。
      • Dialogue
      • Machine Translation
      • Creative writing: storytelling, poetry-generation
      • Image captioning

• 文本生成方法

  • 一、Data2text方法

    • 早期方法：

      • 早期的文本生成系统多是基于规则的，可以分为三个较为独立的模板：1）内容规划；2）句子规划；3）句子实现
      • 基于传统的句法树文本生成等

        

    • 基于NN方法：

      • 基于神经机器翻译（Neural Machine Translation）

        • 1. 《Data-to-text Generation with Entity Modeling》https://arxiv.org/abs/1906.03221
          • 这篇文章主要是以entities为中心的网络结构用于data2text 生成。创建entities的表示形式，并动态更新。 在每个time step上，使用层次结构的attention，以输入的数据和entity memory为条件生成文本。

            

        • 2. 《Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search》、《Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine》
          • 词法约束的解码指的是在生成的序列中必须包含预先指定的单词和短语，实质上是对beam search的修改，允许用户指定单词翻译。

            

          • start：constraint的起始状态。
          • continue：继续生成constraint，这暗示它是一个短语级别的限制的中间状态。
          • generate：从模型分布选出的词不是constrain
          • 对于模型进行beam search的过程中产生的hypothesis分为了两类：
            • Open hypothesis：可以从模型产生的输出分布中获取下一个token，这种情况其实可以分为两种，一种是选取的token不在constraints中，一种是选取的token是某个constraint的起始状态。