NIPS2019｜个性化推荐的另一种思路: 学习用户行为的解纠缠表示

嘿，记得给“机器学习与推荐算法”添加星标

---

本文是达摩院的研究人员借助VAE系解纠缠方法，对用户在推荐系统场景下的深层认知进行建模的探索。本文涉及不少VAE系解纠缠的前置知识，在这篇文章会对解纠缠做一个简单介绍。还推荐读一下我的另一篇文章，对无监督解纠缠有一个更数学的了解：

https://zhuanlan.zhihu.com/p/269961816

论文原文链接：

https://arxiv.org/pdf/1910.14238.pdf

解纠缠表示(Disentangled Representations)

现有的解纠缠方法主要是基于VAE的，具体是希望在VAE的中间层学到一个解纠缠的潜编码，即Disentangled Representations。所谓解纠缠，就是说将原始的数据，例如图像，映射到一个潜在的高维向量空间，希望空间中的潜编码的维度之间是彼此独立的。当我们从这个潜在向量空间采样出潜编码，并通过decoder得到新的数据时，潜编码的每一维控制所得到的数据的不同内容，且彼此不影响。例如，对于人脸数据，我可能得到的解纠缠表示有10维，第一维控制肤色，第二维控制头发的长度，第三维控制眼睛的大小，如果我调整第一维，保留所有其他维度，就可以生成同一个人脸不同肤色的图像，这就是VAE系解纠缠表示学习的目标。

和图像数据不同，推荐系统中用到的用户行为数据是稀疏的，而且属于时间序列数据，如何学习这样的的用户行为数据来做个性化推荐，是本文的主要贡献。

摘要

用户决策过程受一些深层的潜在因素影响，这些潜在因素之间的复杂交互驱动了用户的行为。这些因素纠缠在一起，高级别的因素掌控着用户的意向(例如相比买一台新的评判电脑，更倾向于买手机)，低级别的因素刻画了用户执行一个意向时的偏好(例如更想买高刷屏的手机)。如果能够学习出解纠缠的表示，把这些纠缠在一起的潜在因素解离开来，就可以带来更好的鲁棒性，可解释性，和可控性。然而，学习这样的解纠缠表示很具有挑战性，依旧被现有的研究所忽视。本文提出了MACRo-mIcro Disentangled Variational Auto-Encoder (MacridVAE)来学习用户行为的解纠缠表示。

文本提出的方法可以通过推理和用户意向相关联的高级概念，实现宏观的解纠缠，并同时捕获用户对不同概念的偏好。使用一个源自于VAE的信息论解释的micro-distanglement正则项，使得表示中的每一维都单独反应一个独立的低级因素(例如手机的颜色或者是否有NFC)。实证的结果显示，本方法可以带来基于baseline的显著性能提升。作者展示了学习到的表示的可解释性和可控性，而这，有可能会带来一种新的推荐模式：即，可以由用户来微调这些表示，从而带来更加个性化的推荐。

介绍

基于用户的行为来学习能够反应用户偏好的表示，是推荐系统相关研究的中心问题。尽管已经取得了显著的成功，现有的基于用户行为的表示学习方法，例如基于深度模型的方法，都忽略了用户决策背后起决定性作用的潜在因素之间的复杂交互。潜在因素保持着混杂的状态，使得推荐模型不够鲁棒，且可解释性很低。

解纠缠表示学习的目的是学习出解纠缠的表示，这种表示可以从观测数据中把有意义的潜在因素解离出来。解纠缠表示更鲁棒，因为当数据有限，解纠缠的表示对于少量数据所呈现的虚假的相关性会不敏感；同时，解纠缠表示的可解释性也在推荐相关的任务中可以得到应用，例如transparent advertising(透明化广告)，客户关系管理，和可解释性推荐。并且解纠缠表示的可控性，有潜力带来一种全新的推荐范式，由用户掌管更多细节。然而，现有的解纠缠表示学习主要是来自于CV领域。

用户行为数据是离散的关系数据，和已经得到很多研究的图像数据不同，这里有两个主要挑战：首先，潜在宏观控制因素，与潜在微观控制因素是并存的(用户意图与执行意图时的偏好)，这要求我们在执行解纠缠时也能够分不同的级别去执行。其次，用户行为数据也即user-item交互数据，是离散并且稀疏的，而我们要学习的表示是连续的。这意味着高维的表示空间中，大部分点是不和任何用户行为相关联的。这就会带来一个问题：当我们想要研究表示的某一维的意义时，我们可能固定其他维度，调整这一维的数据来看看带来的变化，但很可能什么也对应不上。

本文提出了MacridVAE，分别显式的建模了宏观与微观因素，在两个不同的级别执行解纠缠。文本提出的方法可以通过推理和用户意向相关联的高级概念，实现宏观的解纠缠，并同时捕获用户对不同概念的偏好。使用一个源自于VAE的信息论解释的micro-distanglement正则项，使得表示中的每一维都单独反应一个独立的低级因素(例如手机的颜色或者是否有NFC)。研究所学习到的表示的可解释性时，本文提出使用一个beam-search策略来寻找平滑路径，以此解决表示空间的稠密与观测数据的稀疏之间的矛盾。

问题定义

问题定义： 用户行为数据  包含N个用户与M个物品之间的交互信息。用  来表示第u个用户与第i个物品发生过交互，否则这一项为0。简单起见，用  表示被用户u交互过的物品集合。我们的目标是学习所有用户的表示  实现宏观与微观的解纠缠。

宏观解纠缠： 用户可能有多样的兴趣，并且和属于不同高级别概念(这里的高级别概念可以是产品类别，如美妆，数码，学习)的物品发生过交互。实现宏观解纠缠，就是要学习用户u的分解的表示  ，即，假设有K个高级概念，且  捕获了用户对第k个概念的偏好。此外，我们为物品也推理出一个one-hot向量集合：  ，其中  。如果物品i属于概念k，那么  ，对于  此项为0。我们联合且无监督的推理  与  。

微观解纠缠： 微观解纠缠在于解离出用户对一个物品更细粒度的偏好。例如，当第k个概念代表服装时，我们希望  的不同维度能够捕获用户对尺寸，颜色等更细粒度概念的偏好。

模型框架

首先，我们提出一个能够鼓励宏观解纠缠的生成模型。对于用户u，我们的生成模型假设观测数据是从下列分布生成的：

这里假设