Transformer for ranker（EMNLP 2020 ）

     题目：Modularized Transfomer-based Ranking Framework
     
     代码： https://github.com/luyug/MORES

贡献：

在这项工作中作者们将 Transformer ranker 模块化为单独的模块，以进行文本表示和交互。作者将展示该设计如何使用离线预计算表示和轻量级在线交互来显着加快排名。模块化设计也更易于解释，并为 Transformer 排名中的排名过程提供了启示。作者在大型监督排名数据集上的实验证明了 MORES 的有效性和效率。它与最先进的 BERT 排名器一样有效，并且排名速度最高可提高 120 倍。–paperweekly

INTRODUCTION

当用于排序时，Transformer Ranker采用查询和文档的连接，应用一系列self-attention操作，并从其最后一层输出相关性预测。（可解释性较差）

Proposed Method（MORES）

对于文档和查询，采用Transformer的encoder编码：