HiNet: Novel Multi-Scenario & Multi-Task Learning with Hierarchical Information Extraction

        在最近的一些研究中，相关方法往往是将多场景推荐做为一个多任务学习（Multi-Task Learning，MTL）问题进行建模，并且此类方法大多使用多门控混合专家（Multi-gate Mixture-of-Experts，MMoE）网络框架作为模型改进的基础来学习场景之间的共性和特性。然而，这种基于MTL的方法往往将多个场景的数据信息投影到同一个特征空间进行优化，这很难充分捕捉到具有多个任务的众多场景之间的复杂关系，因此也无法进一步提升多场景多任务学习模型的性能。

从直觉来看，多场景和多任务的信息建模应属于不同层次的优化，应该进行分层处理。因此，在本文中，我们提出了一种层次化信息抽取网络（Hierarchical information extraction Network，HiNet）。具体来说，我们设计了一个端到端的两层信息抽取框架，来共同建模场景间和任务间的信息共享和协作。

首先，在场景抽取层（Scenario Extraction Layer），HiNet能够通过单独的专家模块提取场景共享信息和场景特有信息。为了进一步加强对当前场景的表示学习，我们设计了场景感知注意力网络（Scenario-aware Attentive Network，SAN），显式学习其他场景对当前场景的信息表征贡献程度。

然后，在任务抽取层（Task Extraction Layer），利用自定义的由任务共享和任务特有专家网络组成的门控网络，有效地缓解了多任务学习中共享信息和任务特有信息之间的参数干扰。

通过在模型结构上分离场景层和任务层的信息提取，可以将不同场景下的多个任务明确划分到