实现实时个性化推荐_利用embeddings技术实现实时个性化推荐

论文：Real-time Personalization using Embeddings for Search Ranking at Airbnb

作者：Mihajlo Grbovic and Haibin Cheng Airbnb, Inc. San Francisco, California, USA

作者针对一个房屋出租市场特点分析，实现一个推荐系统有效地让出租人(host)找到符合要求的承租用户(user)，而承租人(user)找到满足要求的房屋(listing)。

首先让相似的listing在embedding空间中具有相似的向量。作者使用skip-gram的embedding技术通过训练出来的listing的embedding余弦距离较近验证在房屋特点等方面具有相似性。

作者从短期和长期不同特点提出不同的训练模型。从长期来说，虽然用户和房屋都在变化，但用户和房屋归入某种类型后，它们在向量空间中具有相关性。因此关心的是一个用户的user type和listing type。作为host，关心的是一类用户(user_type)；但作为user关心的是listing_type。利用NLP的skip-gram的embedding技术，对user_type和listing_type进行embedding，从而能满足host要求的相似user_type推荐给host，或者满足相似的listing_type推荐给user。

1.概述

和以前关于embedding的作品相比，本文的新颖贡献是：

• 实时个性化推荐 - 以前关于个性化推荐的大部分工作使用embedding技术是通过在离线时形成的user-item，item-item的表进行部署到生产中，然后在推荐的时间读取这个表。我们实现了一个解决方案，其中以在线方式组合用户最近与之交互的item，计算与需要排名的item的相似性。
• 适应网络搜索的"集中搜索训练"-搜索在旅行平台上经常被聚合，用户往往只搜索特定市场，如巴黎，很少跨不同的市场。我们调整了训练算法，以考虑进行负抽样时，从而在市场内发现更好的item相似性。
• 利用转化作为全局上下文-在我们的案例中的预订，我们认识到在转换中结束的点击在会话的重要性。在items embeddings时，我们将已预订的item视为全局上下文，始终在窗口在会话中移动时进行预测。
• 用户类型(user_type)embedding - 以前训练用户embedding是以捕获其长期兴趣点为目的，为每个用户训练一个唯一的embedding。但作为出租市场特点，其特定用户在一定时期是没有检索记录，因此没有足够的数据来为每个用户训练良好的embedding表示形式。更何况，为每个用户存储embedding以执行联机计算将需要大量内存。因此，我们建议在用户类型级别训练embedding，其中具有相同类型的用户组将具有相同的embedding。
• 拒绝作为明确的负采样-为了减少那些带来拒绝的推荐，通过负采样，把host的偏好编码到user_type，listing_type的embedding中。

对于短期的兴趣个性化，我们使用超过8亿次搜索点击次数训练listembedding，从而获得高质量的listing向量表示。我们对实际搜索流量进行了广泛的离线和在线评估，结果表明在排名模型中添加embedding功能可以获得显着的预订收益。除了搜索排名算法，我们还成功测试了listing embedding，并推出了类似的list推荐，现有的算法点击率（CTR）提高20％。

对于长期兴趣个性化，我们使用5000万用户使用预订list序列训练usert_type和listing_type 的embedding。在同一向量空间中学习user_type和listing_type的embedding，以便我们可以计算user类型和listing类型之间的相似性进行排名。相似性被用作搜索排名模型的附加功能。

2.相关研究

在NLP领域，使用神经网络训练的低维度embedding代替以前以语言模型训练的高维度稀疏的词向量。神经网络训练考虑到词序，共现度，以及基于这样的假设：经常一起出现在一个句子中的单词，共享更多的统计相关性。embedding技术以CBOW和Skip-gram为代表的词向量技术。

目前，embedding技术已经超越了NLP领域，应用到其他领域。例如搜索引擎，电子商务，市场领域等。如果把一个句子看成单词序列，同样用户在网络的行为就形成一个序列有点类似一个句子的单词序列。用户的行为包括：点击，购买，查询，点击广告等。我们把用户session内的用户作为一种有相关联的上下文序列。通过用户对listing交互序列可以学习到用户和商品的embedding。对于冷启动推荐系统，仍然要使用文本embedding技术对于描述listing和用户的文字进行embedding。

3.方法论(METHODOL