Gavin老师Transformer直播课感悟 - 基于Transformer的Poly-Encoder架构体系解密(一）

一、概述

        本文围绕下面这篇论文来解析基于Transformer采用Poly-Encoder的架构体系如何来平衡模型的速度和质量表现，以及它与其它encoders架构的对比等。

关于速度，譬如在线推理时，如果用户输入后系统需要较长的时间来给出回应，那么在实际运用中是无法接受的，而模型的质量好坏会影响到对话系统的表现，如基于用户输入，系统不能选择正确的回应等。对于需要在两个输入序列(sequence)之间做出成对比较的任务，即使用输入来匹配相应的label(input-response)，通常有两种做法：

1. Cross-encoders，基于input-response pair使用全连接自注意力机制，即input上下文中的tokens和response中的tokens是相互注意，相互作用的。

优点：质量非常好，由于在input和response之间的tokens是完全相互注意的

缺点：速度很慢，因为对于每次的输入都需要重新计算