推荐系统的注意力进化：从 Self-Attention 到 Target-Attention

引言

在深度学习和人工智能蓬勃发展的当下，推荐系统已成为众多互联网产品的核心竞争力。而注意力机制，作为推荐系统中的关键技术，正发挥着举足轻重的作用。本文将深入探讨注意力机制及其在推荐系统中的多种变体，如Self - Attention、Target - Attention和双层Attention。

一、注意力机制基础剖析

（一）核心问题与应用本质

注意力机制旨在解决两个关键问题：一是在哪个层面以及如何应用，二是如何获取注意力系数，即由谁产出。其广泛应用的根本原因在于求和操作的普遍性。在众多模型结构中，只要存在向量求和，加权和就有施展的空间。以推荐系统为例，DIN（Deep Interest Network）和DIEN（Deep Interest Evolution Network）将注意力机制应用于用户行为序列建模，目的是获取更优质的用户特征表示。但注意力机制的应用远不止于此，它还能在其他多个环节发挥各种不同的作用。

</