Understanding User Behavior For Document Recommendation学习摘要

introduction

论文提出背景

近年来，关于可解释推荐的话题受到越来越多的关注，人们也提出了多种方法来解释推荐结果。但是，很少有工作专门关注用户与解释的交互以及它们在文档推荐中的有效性。研究解释对用户行为的影响，对于理解用户如何理解解释，识别更好的解释设计，提高整体用户体验具有重要意义。

文档推荐与其他推荐的区别

文档推荐与其他推荐（如电影和商品）有着重要的区别。人们通常对文档非常了解（例如，文档的类型、作者以及最后一次与文档交互的时间），他们通常有一个明确的目标，即在访问文档平台时查找或重新查找特定的文档。还有一些情况下，用户希望打开通过协作工作共享的文档，即使他们以前从未见过该文档。

论文研究的三个问题

1. 描述云文档平台上用户与推荐文档交互行为的指标是什么?
2. 反映各种交互历史的解释是如何与推荐文档的用户行为相关联的?
3. 不同的解释如何影响用户行为？

本文的贡献

1. 通过大规模观察日志分析，我们提供了在线文档平台上用户对文档推荐行为的第一个特征描述。
2. 我们详细研究了反映不同交互历史的解释是如何与用户和推荐文档的交互相关的。
3. 通过一个线上随机化研究，我们调查了不同解释对用户行为的影响。

相关工作

如何描述用户行为

大规模的日志分析使得研究人员能够理解和描述很多场景下的用户行为，比如搜索引擎、网页浏览和电子邮件。
日志研究有两种主要类型：

1. 观察日志研究，观察和收集大量日志数据，以提供用户行为的描述性概述。
2. 实验日志研究，进行现场实验，收集日志数据，并在实验组和对照组之间进行比较。

在本文中，我们同时使用了这两种类型的日志研究方法。

可解释性推荐

可解释性推荐是指解释推荐系统为什么推荐某个项目。
产生解释的策略主要有两种：

1. 关注推荐模型的可解释性，比如主题建模、矩阵分解、深度学习等。
2. 通过事后分析，将推荐模型视为黑箱，使用单独的方式生成解释。

由于我们关注的是用户对解释的行为，而不是解释生成，所以我们将推荐算法视为一个黑盒子，并使用一个事后启发式解释注释器。

用户对解释的反应

在本文中，我们研究了各种行为指标来描述用户行为，包括搜索、识别和点击行为。据我们所知，我们是第一个研究大量用户对推荐解释的行为的。

分析范围和日志数据

什么是RDP？

RDP(Recommended Document Pane，推荐文档窗格)是office首页的推荐区域。如图

RDP共有4页，每页4个共16个推荐候选项。每个候选项都包含解释、缩略图或图标以及文档标题。

日志数据

由于我们关注RDP(Recommended Document Pane，推荐文档窗格)，所以我们只研究在RDP中有足够候选项（即4个或更多，以便他们在访问网站时可以看到完整的RDP页面），并在分析期间至少单击RDP一次的用户。从这个子集中，我们在第一阶段抽取大约80万用户和他们的百万次访问，在第二阶段随机抽取10%的用户进行随机处理。

日志数据包括两种交互类型：

1. 在云平台上的交互，如在项目、应用程序和office上的其他链接上的交互。
2. 和文档的交互，如打开、编辑、评论。

除了用户行为信息外，日志数据还包括了大量的元数据(包括文档ID，文档显示位置的索引，推荐解释的类型，文档大小)等。但是该日志数据没有包含任何文档或解释的内容，或者个人识别信息。

用户的意图

我们所有的分析都只涉及到这些用户意图打开文档的访问。根据日志数据，当用户打算打开一个文件时，最常用的区域是RDP(65.5%)。第二是最近的文档列表(20.4%)。

用户和RDP的交互

用户在RDP上的点击行为是什么？

我们研究一个最基本也是最重要的因素：显示位置(即该推荐文档在RDP的第几页，第几个)。

为了描述用户在RDP上的点击行为，我们使用了一个通用的度量点击率（CTR），定义如下：
$$CTR=\frac{点击次数}{浏览次数}$$

CTR只反映用户是否点击RDP中的文档的比率。它并没有指出当用户需要查找文档时RDP是否对他们有利。为此，我们进一步定义了两个指标：识别率和打开时间。

识别率（RR）
$$RR=\frac{在RDP中打开文档数}{展示在RDP中最终被打开的文档数}$$
我们的分析表明，该算法通常能很好地进行推荐，即最终在某处打开的文档由该模型推荐并在RDP中显示给用户。然而，只有73.4%的用户会识别并从RDP打开它。在剩下的26.6%的情况下，用户会忽略RDP中的推荐文档，然后在其他地方打开文档。

打开时间（TTO）
$$TTO=T(打开文档)-T(访问office)$$
我们的结果表明，RDP显著缩短了打开文档的时间。文档在RDP中打开与文档在RDP中但在其他地方打开的情况相比只需要52.6%的时间，而与文档不在RDP中但在其他地方打开相比只需要38.3%的时间。

通过数据分析得到显示位置与CTR、RR 、TTO的关系如下图。

从上图可得到如下结论：

1. 在RDP区域中每一页的左边文档的CTR都比右边文档高。
2. CTR会在页间出现跳跃现象，即每一页最后一个文档的CTR会低于下一页的第一的文档。
3. 在第一页左边文档的RR比右边文档高。
4. 一旦用户导航到其他页，RR会保持在很高的水平。
5. 文档位置索引越大，TTO越大。
6. 页面间TTO的增加比页面内的增加更为显著。

解释如何与用户交互联系起来？

考虑到在RDP中用户行为的基本特征，我们通过研究推荐解释和前一节中描述的三个行为度量之间的关联来回答问题2。此外我们还进一步探讨了解释与用户历史互动的两个方面的关系：作者身份和上次打开时间间隔。

解释和随机化研究

我们预定义了14种解释类型。由于一个文档在其生命周期中可能有不同的活动，因此同一个文档在不同的时间会出现不同的解释。为了简单起见，我们将14种解释类型分为四个操作组（编辑、注释、打开和共享），进一步按作者身份（我和其他人）划分编辑操作。得到14种解释类型如下图。

当用户访问office网站，对于模型推荐的每个文档，我们随机选择前四个解释中的一个显示给用户。为了减少解释较少的文档的偏差，我们排除了少于4个解释候选的文档。

我们调查了五个解释组和CTR、RR、TTO三个行为指标之间的关联。结果如下图：

得到结论如下：

1. 在协同解释组中，comment by others拥有最高的CTR。
2. 在个人解释组中，edit by you有更高的CTR。
3. share by others拥有最低的CTR。
4. comment by others拥有最高的CTR，但是RR最低。
5. share by others拥有最低的CTR，但RR最高。
6. comment by others拥有更低的TTO。

作者身份和解释如何？

我们调查了不同作者身份情况下，五个解释组和CTR、RR、TTO三个行为指标之间的关联，结果如下图：

得到结论如下：

1. 当用户是作者时，comment by others和edit by others比用户不是作者时拥有更高的CTR、RR和更低的TTO。
2. 当用户是作者时，share by others比用户不是作者时拥有更低的CTR、RR和更高的TTO。

上次打开时间间隔和解释如何？

我们调查了不同时间间隔情况下，五个解释组和CTR、RR、TTO三个行为指标之间的关联，结果如下图：

得到结论如下：

1. 上次打开时间间隔越长，CTR越低，TTO越高。
2. 如果文档在今天早些时候打开，那么当天的RR会变低。

不同的解释如何影响用户行为？

我们的结果显示了解释对之间的差异：当两个解释对一个文档有效时，显示一个解释可能比另一个更能引发积极的反应。
对比图如下(CTR和RR的图中值为横轴值/纵轴值，TTO中正相反)：

由图得到结论如下：

1. comment by others的CTR仅高于open by you。
2. comment by others和share by others的RR都很高。
3. open by you拥有比其他所有解释组都要低的CTR和RR。
4. TTO结果可以建立一个“完整的成对顺序”：
   edit by you > edit by others > open by you > comment by others > share by others

Discussion

一些潜在性的建议

1. 当用户是文件的作者时，comment by others和edit by others会触发更积极的反应。
2. 当RDP展示一个长时间未打开的老文件时，share by others能够更好的帮助用户识别和访问文件。
3. open by you含有的信息最少，不会引起太多反应。
4. 当在两个解释之间做出选择时，上述矩阵具有很好的参考价值。

未完成的工作

1. CTR、RR和TTO三个指标至描述了用户的部分行为。
2. 没有分析用户与网站其他方面的交互行为。
3. 在解释随机化中，未考虑无解释项。