深度学习 | (9) Transformer和LSTM对比的设想？

原文地址

现在的想法是transformer模型建立依赖关系的能力可能是依旧比较差。

Transformer 长程依赖的捕获能力是比 RNN 类结构差的。

这点在最近 Transformer-XL [1] 的文章中有体现。

可以看的到 Transformer 是比 RNN 有明显差距的。虽然读了这个 RECL 的定义感觉作者有强行定超参拉开两者差距之嫌，但毫无疑问的是 Transformer 确实是最糟糕的，只是不一定有数字上好几倍这么夸张。

但是，题目叙述中有一个误解，我们可以说 Transformer 建立长程依赖的能力差，但这不是 Self-Attention 的锅。

但summarization（摘要）任务上需要考虑的是成篇章级别，并且长距离依赖，这时单靠self-attention建模依赖关系可能仍显不足，而这时候lstm的优势反而凸显出来

Self-Attention 可以使任意两个 token 间的依赖计算变为常数，长距离依赖上 Self-Attention 是强于 RNN 结构的。要说问题，出也是出在 positional embedding 上，很多最近的 paper 都在尝试调整这一部分，也证明大家确实觉得现在这里是有问题的。

但另一方面，**Self-Attention 其实并不是 Transformer 的全部。**个人来看，**从深度 CNN 网络中借鉴而来的 FFN（全连接层） 可能更加重要。**事实上 18 年 ACL [2] 有人做过实验，把 Transformer 里的 Self-Attention 换成 RNN 和 CNN，发现其实性能几乎没降多少。而带来性能提高的，主要是 FFN with residual 和 multiple heads.

最后，不负责任的猜测，Transformer 在 Summarization 上不够好，其实可能更多的是数据量的问题。 Transformer 这个结构最牛逼的地方就在于它第一次做到了在 NLP 中把深度叠上去还能 work， 而 NMT 恰好也是一个目前数据量非常丰富且问题尺度本身不大的一个任务了，充分发挥了 Transformer 的优势。而 Summarization 任务，相对于其 pairphrase 本身的长度，benchmark 的数据样本总量可能就略显不足了。

记得之前在哪看过一个图来着，说是 RNN 在中等数据量（几十万级别以下）下效果是比较好的，忘记出处了，有同学记得的话求评论提醒哈~

Reference
[1] Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
[2] How Much Attention Do You Need? A Granular Analysis of Neural Machine Translation Architectures