【推荐系统综述阅读笔记】1.Deep Learning for Matching in Search and Recommendation

Deep Learning for Matching in Search and Recommendation

第一篇关于RS的Review，paper篇幅较短，来自SIGIR 2018，但是详细内容在作者在会议的ppt上。以下是在阅读的过程中记录的笔记，包括paper、ppt翻译和自己的理解及注释。

dblp上下不到ppt原件，作者给出的附件地址是：https://www.comp.nus.edu.sg/~xiangnan/sigir18-deep.pdf，下载不了，如果是新加坡国立大学内网说不定能下载。或者需要的话可以联系Email : ylzhang828@stu.suda.edu.cn。

摘要

匹配是搜索和推荐中的关键问题，即衡量文档与查询(query)的相关性或用户对某个项目(item)的兴趣。以前，已经利用机器学习方法来解决这个问题，即从标记数据(labeled data)学习匹配函数(matching function)，也称为“学习匹配(learning to match)”[21]。近年来，深度学习已成功应用于匹配(matching)，并取得了重大进展。搜索的深层语义匹配模型(deep semantic matching models)[25]和推荐的神经协同过滤模型(neural collaborative filtering models)[12]正在成为最先进的技术(state-of-the-art)。深度学习方法成功的关键在于其从原始数据（例如，查询、文档、用户(users)和项目(items)，尤其是原始形式(raw form)）学习表示(representations)和泛化(generalization)匹配模式(patterns)的强大能力。在本教程中，我们旨在对搜索和推荐中的匹配(matching)在深度学习上的最新进展进行全面调查。我们的教程的独特之处在于，我们试图给出搜索和推荐的统一观点(unified view)。通过这种方式，我们期望来自这两个领域的研究人员能够对空间(space)有深入的理解和准确的洞察，激发更多的想法和讨论，并促进技术的发展。

本教程主要由三部分组成。首先，我们介绍了匹配的一般问题，这是搜索和推荐的基础。其次，我们解释了如何利用传统的机器学习技术来解决搜索和推荐中的匹配问题。最后，我们阐述了如何有效地利用深度学习来解决两个任务中的匹配问题。

1 INTRODUCTION

网络上各种信息的爆炸式增长导致了信息过载，极大地阻碍了用户准确、及时地获取感兴趣的信息。搜索和推荐是应对这一挑战的两种主要方法，它们是两种信息访问模式：拉取（pull）和推送（push）[8]。通过信息拉取(pull)，搜索引擎接受用户提交的查询，然后返回相关结果以满足用户的信息需求。另一方面，通过信息推送(push)，推荐引擎提供用户可能感兴趣的信息。搜索和推荐的基本问题是如何在异构对象之间进行匹配，这些异构对象分别是搜索中的查询(query)和文档(document)，推荐中的用户(user)和项目(item)。

解决匹配问题的主要技术难点在于所谓的语义鸿沟 (semantic gap)。在搜索中，传统方法在词语级别(term level)执行查询文档匹配(query-document matching)。然而，词语(term)层面的高度匹配并不一定代表高度相关性，反之亦然。例如，如果查询为“ny times”，而文档仅包含“NewYork times”，则查询与文档的匹配度较低，尽管它们是相关的。由于人类语言的模糊性和易变性，语义鸿沟是普遍存在的，因为同一术语(term)可以表示不同的含义，同一含义可以用不同的术语表示。而在推荐中，语义鸿沟问题更为严重，因为匹配是在用户属性(user attributes)和项目属性(item attributes)之间进行的，并且特征之间可能没有任何重叠。例如，在协同过滤场景(setting)中，用户和项目(item)表示为ID特征，对用户和项目的粗略(superficial)特征进行匹配是一项挑战。

为了解决这个问题，搜索和推荐领域的研究人员一直在采用类似的方法在语义层面上进行匹配，称为语义匹配（semantic matching）[9]。在搜索中，人们试图执行更多的查询和文档理解来表示它们的含义（例如，使用主题模型(topic models)），并在丰富的查询和文档表示之间进行更好的匹配。为语义匹配开发了机器学习模型，并取得了重大进展，称为“学习匹配(learning to match)”[21]。这些方法通过将查询和文档映射到新的语义空间(semantic space)[31]，或在文档和查询之间进行翻译(translation)[2,7]来进行匹配。在推荐中，人们尝试将用户(user)和项目(item)表示为编码丰富语义(encode rich semantics)的真实值向量（例如，语义相关的对象应该有很大的相似性），然后在语义级别执行匹配[13,17]。

虽然这些经典方法在一定程度上运行良好，但它们的性能仍然受到模型表示能力不足和简单匹配函数的限制。

受计算机视觉和自然语言处理中深度神经网络最近复兴的启发，已经开发了许多深度学习方法来解决搜索和推荐中的匹配问题。它们已显示出有希望的结果，并显示出进一步改进的巨大潜力[5,10,14,24]。一般来说，深度学习在语义匹配中的成功主要来自两个方面：1）表示学习(representation learning)，2）匹配函数学习(matching function learning)。

• 对于表示学习，DL方法可以学习数据对象（或特征）的抽象表示（abstract representations），特别是为匹配任务定制的。例如，在搜索中，前馈神经网络（FNN）用于学习查询和文档的表示[16]，卷积神经网络（CNN）和递归神经网络（RNN）也用于考虑单词(words)的排序信息[15,23,27,28]。类似地，在推荐中，FNNs（如Stacked Denoising Auto-Encoder堆叠去噪自动编码器（SDAE））已用于丰富(enrich)从文本和图像学习的项目(item)表示[34]，RNN已用于学习 会话(sessions)[22]和多媒体内容 的表示[3]。

• 对于匹配函数学习，DL方法利用多层神经网络作为排序函数(ranking function)，可以有效地将模糊的低级信号聚合到匹配得分(score)中。例如，在搜索中，CNN和RNN被用作匹配函数来聚合术语(term)级交互信号[6,15,24,29,33]。注意机制也被用于此目的[26]。在推荐中，CNN[11]、FNNs诸如Factorization Machine因子分解机（FM）[10]和多层感知机（MLP）[4,12]以及注意力(attention)网络[32]已集成到匹配函数中，以学习二阶和高阶特征交互。最近的几项工作将基于词嵌入(embedding)和基于树(tree-based)的模型结合起来，以学习推荐的匹配函数[30,35]。

在本教程中，我们关注搜索和推荐的匹配视角，旨在系统地回顾传统的机器学习以及解决问题的深度学习方法。正如[1,8]所指出的，搜索（信息检索）和推荐（信息过滤）是同一枚硬币的两面，有着很强的联系和相似性。通过在相同的匹配视角下统一这两个任务并比较现有技术，我们可以提供更多解决语义匹配问题的见解。我们希望本教程对从事这两项任务的研究人员和实践者有用，因为从一项任务中获得的创新和经验可能会转移到另一项任务中。这将促进搜索和推荐社区的研究人员进行富有成效的想法交流，促进搜索和推荐系统的技术发展。

除了搜索和推荐之外，匹配在在线广告、问答、图像注释和药物设计以及其他应用中也起着核心作用。语义匹配的解决方案可以推广到解决任意两类对象之间的匹配问题。因此，我们相信，搜索和推荐匹配技术的发展不仅可以相互受益，还可以促进广泛的其他应用。

2 内容和安排

在简要介绍语义匹配问题之后，在第一部分中，我们将概述搜索中查询文档匹配和推荐中用户项匹配的传统学习方法。在第二部分中，我们将介绍匹配的深度学习方法。具体来说，我们将首先抽象出一个用于搜索和推荐的深度学习解决方案的统一框架，即特征表示学习和匹配函数学习。然后，我们回顾了以前基于统一观点（view）的工作。最后，我们将总结本教程并讨论未来的方向。

下面是PPT的内容部分

待更新...21/12/8 23:33