Selective Encoding for Abstractive Sentence Summarization 阅读笔记

Selective Encoding for Abstractive Sentence Summarization

• Qingyu Zhou, Nan Yang, Furu Wei, Ming Zhou; MSRA&HIT
• ACL2017
• sentence level again

• Models

  • Encoder没什么好说的，单层BiGRU为每个词x_i生成一个2d维的hidden state(h_i)
  • Selective Mechanism是将词的h_i与句子的s拼接到一起，搁到一个前馈网络里生成输出h'_i。行吧，但是你这s有点不讲道理啊，凭啥s=[h←_1, h→_n]，凭啥这个就能代表整个句子。h←_1表示从右到左读取了整个句子, h→_n表示从左到右读取了整个句子，看起来还是比较合理的。
  • Decoder的不同在于maxout。GRU使用s_t-1, c_t-1, y_t-1更新s_t；s_t+h_i计算e_i然后归一化得到权重α_i，乘以h'_i得到context向量c_t，和s_t、y_t-1一起放到一个maxout层(k=2)中得到output，然后使用softmax。这个maxout层有点意思，相当于不同层网络之间有2套互相独立的权重参数，输出z的时候选一个能让z大的参数。这里encoder使用了BiGRU，decoder得到的输出是2d，使用k=2的maxout合并相邻的两个数值，将输出降为d维（细细一想好像不是很有道理……把第i个和d+i个合并是不是好一点，毕竟在向量空间中是同一个维度）。

• 性能: all are state-of-the-art

  • Gigaword(Rush et al., 2015): Rouge-1:36.15/Rouge-2:17.54/Rouge-L:33.63
  • Gigaword(ours): Rouge-1:46.86/Rouge-2:24.58/Rouge-L:43.53(sounds something strange??? why so high?)
  • DUC2004: Rouge-1:29.21/Rouge-2:9.56/Rouge-L:25.51