模型主要是在encoder上有巧妙的构思,也基本上是在Seq2Seq+attention的基础上做的改进:
模仿人类行为设置了两个encoder:
一个是copy encoder,为了解决低频词汇paraphrase以后出现UNK的问题;
一个是generate encoder,为了解决多样性的问题。
另一个创新的点在于,作者设置了一个writing model predictor 来预测是使用copy还是generate。这个的设置就比较精髓了。
模型主要是在encoder上有巧妙的构思,也基本上是在Seq2Seq+attention的基础上做的改进:
模仿人类行为设置了两个encoder:
一个是copy encoder,为了解决低频词汇paraphrase以后出现UNK的问题;
一个是generate encoder,为了解决多样性的问题。
另一个创新的点在于,作者设置了一个writing model predictor 来预测是使用copy还是generate。这个的设置就比较精髓了。