YOLOv10改进 | 注意力篇 | YOLOv10引入NRMS注意力

1. NRMS介绍

1.1  摘要：新闻推荐可以帮助用户找到感兴趣的新闻，缓解信息过载的问题。准确地对新闻和用户进行建模是新闻推荐的关键，而捕获新闻和词语的上下文对于学习新闻和用户表征具有重要意义。本文提出了一种基于神经网络的新闻推荐方法.我们的方法的核心是一个新闻编码器和一个用户编码器。在新闻编码器中，我们使用多头自注意来学习新闻标题中的新闻表示，通过对词与词之间的交互进行建模。在用户编码器中，我们从用户浏览的新闻中学习用户的表征，并使用多头自注意来捕获新闻之间的相关性。此外，我们还运用附加注意力，通过选择重要的词和新闻来学习更多信息的新闻和用户表示。在真实网络数据集上的大量实验，验证了该方法的有效性和运行效率.

官方论文地址：https://aclanthology.org/D19-1671.pdf

1.2  简单介绍:  

          NRMS方法的模块主要包括三个部分：新闻编码器（News Encoder）、用户编码器（User Encoder）和点击预测器（Click Predictor）。

          (1). 新闻编码器：这个模块用于从新闻标题中学习新闻表示。它包含三层。第一层是词嵌入层，将新闻标题中的词语转换为低维度的嵌入向量。第二层是字级多头自注意力网络，通