【论文阅读】 AMNN: Attention-Based Multimodal Neural Network Model for Hashtag Recommendation

摘要

在真实的社交网络中，标签被广泛应用于理解单个微博的内容。然而，用户在发布微博时并不总是主动添加话题标签，因此需要投入大量精力进行自动的话题标签推荐。作为一种新趋势，用户不再仅仅发布文本，而是更愿意分享多模态数据，如图像。针对这种情况，我们提出了一种基于注意力的多模态神经网络模型(AMNN)来学习多模态微博的表示并推荐相关的标签。在本文中，我们将hashtag推荐任务转换为一个序列生成问题。然后，我们提出了一种混合神经网络方法来提取文本和图像的特征，并将它们合并到序列模型中进行标签推荐。在Instagram和两个公共数据集上的实验结果表明，该方法的性能优于现有的方法。我们的模型在三个不同的指标上实现了最佳性能:精度、召回率和准确性。

引言

近年来，社交网络已经发展成为人们交流和分享信息的强大平台。随着移动互联网的发展，人们参与网络活动，花费更多的时间在社交媒体上，产生了大量的数据。为了避免被淹没，一个改善信息传播的好选择是通过使用话题标签。作为一种手动用户驱动的标签机制，hashtag可以用于标记每个微博中的关键词或主题。用户通过在单词或短语前加上#(#)来创建和使用标签，例如#sunset。Hashtag提供了一种方式来组织用户生成的数据，使信息更容易访问。以往的许多研究都证明了话题标签在社会数据挖掘中的有效性，如信息检索、情感分析、事件检测和话题跟踪，因为话题标签更具包容性和信息性。然而，只有一部分微博包含标签。例如，Twitter上只有24%的推文包含至少一个hashtag，而每天有超过5亿条推文被发布。因此，社交网络中的话题标签推荐任务近年来受到越来越多的关注。

虽然已有很多研究致力于此任务，但现有的方法大多只关注文本信息。然而，社交网络上出现了一种新的趋势，人们在分享想法时倾向于在文本中附上图片。据统计，超过三分之一的微博不仅包含文字，还包含微博平台上的图片。另一方面，随着Instagram和Flicker等照片和视频分享社交服务的兴起，更多带有标签的多模态微博可供使用。因此，多模态标签推荐成为一项新的具有挑战性的任务。图1是一个带有图片和文字的微博实例，以及相应的hashtag列表。值得注意的是，#earth、#nature等标签也与图片相关，不能直接从文本中提取。因此，综合考虑多模态微博的文本和图像信息，可以推荐更好的标签。

随着在计算机版本和神经语言处理(neural language processing, NLP)任务方面取得的令人瞩目的成就，基于深度神经网络的各种方法被提出用于标签推荐。这些模型采用神经网络和注意力机制从微博中提取特征，近年来取得了良好的效果。然而，这些研究中的大多数仍然仅仅基于文本信息执行hashtag推荐任务。自动生成基于图像的标签列表是一项非常具有挑战性的任务，因为标签不仅与图像的内容有关，而且与潜在的语义信息有关。标签和图像之间的相关性可以称为弱相关性。因此，以前仅使用文本特性的方法不能直接用于此任务。同时，深度学习方法在神经图像标题(NIC)生成问题上取得了优势，这是一个直接的任务，通过神经网络自动生成图像的文本描述。为此，我们提出了协同关注网络，将文本信息和视觉信息结合起来，为多模态推文推荐hashtag。然而，由于协同注意机制以协同引导的方式产生文本和视觉注意，因此协同注意网络无法很好地应用于当前社会化媒体服务中普遍存在的只关注图像和很少关注文本的情况。另外，coattention网络模型使用了交叉熵损失的多类softmax分类器进行hashtag推荐任务，导致在多hashtag环境下性能下降。

与以往的研究不同的是，我们研究了标签之间的相关性，将标签推荐任务转化为一个序列预测问题。这背后的直觉是基于一个hashtag不能全面描述一个微博的全部内容，所有的hashtag可以构成完整的信息，如图1所示。换句话说，两个标签之间可能存在隐含的相关性。为此，我们提出了一种新的基于注意力的多模态神经网络(AMNN)模型来捕获图像、文本和标签之间的潜在交互作用，其中编码-解码器结构用于标签序列预测。受图像字幕任务成果的启发，我们采用混合神经网络模型，结合注意机制从多模态数据中提取特征。

特别是，我们在本文中关注的hashtag推荐任务被重新解释为序列生成问题。我们使用softmax+seq2seq机制来达到预期的效果。此外，考虑到社交网络中微博的形式多种多样，我们在第一步中采用并行方式产生图像和文本的分布式表示，使模型能够方便地处理不同类型的输入。例如