论文《CausalRec: Causal Inference for Visual Debiasing Visually-Aware Recommendation》阅读

论文概况

今天为大家带来的是 ACM MM 2021 上关于因果推荐的一篇论文《CausalRec: Causal Inference for Visual Debiasing Visually-Aware Recommendation》，论文主要聚焦在visually-based recommendation 这一主题，针对视觉特征造成的 visual bias, 基于因果推断，提出了基于因果干预的推荐模型 CausalRec。文章对于中介效应的介绍非常细致，值得学习。

论文由Queensland大学Ruihong Qiu（SBR 模型 FGNN 作者）完成

论文地址：https://dl.acm.org/doi/10.1145/3474085.3475266

代码地址：https://github.com/RuihongQiu/CausalRec

论文概述（Intro）

论文的动机来自于视觉bias，其实这里可以理解为clickbait，即处于视觉原因点击进入某个物体详情页，实际上用户对于该物品的prefence可能来自于其他原因（如品牌、价格、材质等）。

这里作者提出一个问题"If a user had seen other items with the same visual feature, would this user still interact with these items?"

这个问题也就引出了本文后续的反事实假设，这里所谓的the same visual feature，也就是因果干预（causal intervention），通过干预，使得物品的视觉信息相同（mean值处理或者null值处理）。

实际上个人认为，这里的假设其实是有点问题的，这部分内容后续进行详细解读。

Preliminaries

作者首先通过一个抽象的general的causal graph来解释 TE (Total Effect，总体效果)、 NDE （Natural Direct Effect）和 TIE (Total
Indirect Effect)。

作者这里通过一个泛化的因果图，来说明直接路径 (direct path)、间接路径 （indirect path）、中介（mediator）的概念和对因果图的影响。

对于上述图 2(a)，存在路径 $A\to B$ ，$A\to C$ ，$B\to C$，分别表示三条因果路径。对于路径 $A\to B$, $A$ 是 $B$ 的 cause，即，$A$ 能够决定 $B$ 的分布。其余路径解释类似，节点表示变量，边表示因果关系。

对于节点 $C$，即存在路径 $A\to B\to C$，又存在路径 $A\to C$。如果研究对象是 $A$ 对于 $C$ 的影响，那么$A\to B\to C$ 就是一条间接路径， $A\to C$ 就是一条直接路径。$B$ 就是一个中介，或 中间者（mediator）。

• 为调研不同路径对于结果 $C$ 的影响，首先是不进行处理的因果图 2(a)，那么得到的结果就是两条路径的总值，即 $C_{a,B_a}$。这里，$B$ 的分布受到了 $A$ 的影响，用贝叶斯公式来表示，即
  $$P(C\mid A)=\sum _{b}P(C\mid A,b)P(b\mid A).\text{\hspace{1em}(1)}$$

• 图 2(b) 表示对节点 $a$ 进行干预，对两条边都有影响，得到最终的结果 $C_{a^{\ast },B_{a^{\ast }}}$。 这两部分的差值，就可以体现对节点 $A$ 进行干预，得到的所有变化效果，即，
  $$TIE=C_{a,B_a}-C_{a^{\ast },B_{a^{\ast }}}.\text{\hspace{1em}(2)}$$

• 想要探究不同路径对于结果的影响，就对单独的路径进行干预。以 图2© 为例，对直接路径进行干预，将 $A$ 与 $B$ 之间的路径切断，那么变量 $B$ 就变成一个独立变量，$A$ 与 $B$ 之间的关系也就被切断了。根据贝叶斯公式，得到概率计算公式如下：
  $$P(C\mid A)=\sum _{b}P(C\mid A,b)P(b).\text{\hspace{1em}(3)}$$

• 图 2© 中，通过对直接路径进行干预，因此得到对变量 $C$ 的直接影响 $a^{\ast }$。同时保留了原来的间接路径 $A\to B\to C$ 的影响 $B_a$，因此，对于结果变量 $C$，得到最终的计算结果为 $C_{a^{\ast },B_a}$。
  同理，对于图 2(d)，得到 对间接路径的干预 结果 $C_{a,B_{a^{\ast }}}$。

• 由上引申，对于图 2(d)，施加干预到间接路径，减去图 2(b) 的对源头节点 $a^{\ast }$ 的 影响，就得到了最终的直接路径上的影响变化，即自然直接效果（Natural Direct Effect，NDE）：
  $$NDE=C_{a,B_{a^{\ast }}}-C_{a^{\ast },B_{a^{\ast }}}.\text{\hspace{1em}(4)}$$

• 根据 TE 和 NDE，得到 全部间接效果（Total Indirect Effect, TIE）的计算结果:
  $$TIE=TE-NDE=C_{a,B_a}-C_{a,B_{a^{\ast }}}.\text{\hspace{1em}(5)}$$

参考《关于中介效应的备忘》 一文，感谢 Jebda。

P.S. 另外，对于论文中的 treatment 和 no-treatment，不用刻意区分，这个表达目前没有在其他论文中见到过，按照因果推论中的期待值和目标值进行区分就行。即 $A$ 只正常分布，未进行干预。 $do(A=a^{\ast })$，即文中的no-treatment，只切断节点 $A$ 的父节点，使之分布按照平均分布进行，不再受到父亲节点分布的影响。
可能作者这里重点强调treatment是赋值为某一特殊值，no-treatment是指去掉其特殊性，做均值或null值处理。

Visual Bias in Mainstream Visually-aware Recommendation

作者在这一部分介绍了主流的视觉推荐模型中的visual bias的情况，通过对不同模型（包括矩阵分解MF、VBPR、DeepStyle、AMR、DVBPR）进行对应到因果图的分析，对其bias进行了分析。

1. MF（UAI 2009）

$$y_{u,i}=\alpha +{\beta }_u+{\beta }_i+{\mathbf{\gamma }}_u^{\top }{\mathbf{\gamma }}_i.\text{\hspace{1em}(6)}$$

对应因果图如 3(a)，$M$ 表示用户与物品之间的Match，即协同过滤关系，又同时通过bias term ${\beta }_u$，${\beta }_i$ 对 $y_{u,i}$ 加入了因果关系。

2. VBPR（AAAI 2016）

$$y_{i,v,u}=\alpha +{\beta }_u+{\beta }_i+{\mathbf{\gamma }}_u^{\top }{\mathbf{\gamma }}_i+{\mathbf{\theta }}_u^{\top }\left(\mathbf{E}\varphi ({\mathbf{V}}_i)\right).\text{\hspace{1em}(7)}$$

如图 3(b) 所示，在MF基础上，加入了视觉信息，${\mathbf{\theta }}_u^{\top }\left(\mathbf{E}\varphi ({\mathbf{V}}_i)\right)$，$\varphi (\cdot )$ 表示visual embedding 预训练模型（如ResNet, ViT, VGG等），代表了 $I\to V$ 的因果关系；$\mathbf{E}$ 是 一个可训练矩阵；${\mathbf{\theta }}_u$ 表示用户embedding。

3. Deepstyle (SIGIR 2017) & AMR (TKDE 2020):

DeepStyle:
$$y_{i,v,u}={\mathbf{\gamma }}_u^{\top }\left(\mathbf{E}\varphi ({\mathbf{V}}_i)-{\mathbf{c}}_i+{\mathbf{\gamma }}_i\right).\text{\hspace{1em}(8)}$$

AMR:
$$y_{i,v,u}={\mathbf{\gamma }}_u^{\top }\left(\mathbf{E}\varphi ({\mathbf{V}}_i)+{\mathbf{\Delta }}_i+{\mathbf{\gamma }}_i\right).\text{\hspace{1em}(9)}$$

区别不大，总之 ${\mathbf{\gamma }}_i$，${\mathbf{c}}_i$，${\mathbf{\Delta }}_i$ 都是物品 $i$ 的embedding，在因果图中表示同一节点 $I$。

我们对公式(8)、公式(9)统一解释一下，就不再介绍后面的因果图了。以DeepStyle为例，

$$\begin{array}{c}\begin{array}{rl}{y}_{i,v,u}& ={\mathbf{\gamma }}_u^{\top }\left(\mathbf{E}\varphi ({\mathbf{V}}_i)-{\mathbf{c}}_i+{\mathbf{\gamma }}_i\right)\\ & ={\mathbf{\gamma }}_u^{\top }\mathbf{E}\varphi ({\mathbf{V}}_i)+{\mathbf{\gamma }}_u^{\top }({\mathbf{\gamma }}_i-{\mathbf{c}}_i),\end{array}\end{array}\text{\hspace{1em}(10)}$$
其中的三项内容对应的因果路径分别如下，（1） ${\mathbf{\gamma }}_u^{\top }\mathbf{E}\varphi ({\mathbf{V}}_i)$ 表示 $I\to V\to N\leftarrow U$；（2）${\mathbf{\gamma }}_u^{\top }({\mathbf{\gamma }}_i-{\mathbf{c}}_i)$ 表示路径 $U\to M\leftarrow I$
（3）最后，两项进行加和，代表路径 $N\to Y\leftarrow M$

4. DVBPR (ICDM 2017)

预测函数如下：
$$y_{i,v,u}=\alpha +{\beta }_u+{\mathbf{\theta }}_u^{\top }\mathbf{E}\varphi \left({\mathbf{V}}_i\right).\text{\hspace{1em}(11)}$$

对应因果图如图 3(d) 所示。

至此，关于几个visual recommendation模型的因果图介绍就基本完成，后面介绍几个visual推荐模型的去偏（debias）过程。

Visual Debiasing

根据上述内容介绍所示，visual信息引起的bias主要集中在visual对交互的直接路径上，所以去偏的过程也就是要减去visual information对交互的直接影响（在预测过程中使用TIE完成预测）。

这一部分主要就是针对visual recommendation模型的intervention之后inference该怎么算。

这里为方便介绍，把上面的图3 右半部分的内容挪到这里，为什么不引起混淆，取名叫图3.1如下。

图 3.1(e) 和 图 3.1(f) 分别表示对 VBPR 和 DeepStyle/AMR 进行干预。

如公式 (4)、公式(5) 所示，应该对间接路径进行干预，然后计算得到 TIE。

因为对于这两个因果图来说，都是包含直接路径（$I\to V\to N\to Y$）和间接路径（$I\to M\to Y$），因此处理方法相同。对于间接路径进行处理，即处理路径 $I\to M\to Y$ 如 图3.1 所示。
具体来说，有

未进行干预的预测函数 $Y_{i,v,u}$：
$$Y_{i,v,u}=Y(I=i,V=v,U=u)=Y_{M_{i,u},N_{v,u}}\text{\hspace{1em}(12)}$$

对 节点 I 进行干预，得到 TE如下：
$$TE=Y_{i,v,u}-Y_{i^{\ast },v^{\ast },u}=Y_{M_{i,u},N_{v,u}}-Y_{M_{i^{\ast },u},N_{v^{\ast },u}}.\text{\hspace{1em}(13)}$$

直接路径 $I\to V\to N\to Y$ 和 间接路径$I\to M\to Y$ ，对间接路径进行干预，得到 $Y_{i^{\ast },v,u}$：

$$Y_{i^{\ast },v,u}=Y_{M_{i\ast ,u},N_{v,u}}.\text{\hspace{1em}(16)}$$

根据 NDE 和 TIE 的计算公式，得到如下 inference计算方法：

$$NDE=Y_{i^{\ast },v,u}-Y_{i^{\ast },v^{\ast },u}=Y_{M_{i^{\ast },u,},N_{v,u}}-Y_{M_{i^{\ast },u},N_{v^{\ast },u}}.\text{\hspace{1em}(17)}$$
$$TIE=TE-NDE=Y_{i,v,u}-Y_{i^{\ast },v,u}=Y_{M_{i,u},N_{v,u}}-Y_{M_{i^{\ast },u},N_{v,u}}.\text{\hspace{1em}(18)}$$

根据上述计算过程，得到了以VBPR为代表的所有visual recommendation模型的去偏推算目标如下：
$$\begin{array}{rl}{\hat{y}}_{i,v,u}& =\left(\alpha +{\beta }_u+{\beta }_i+{\mathbf{\gamma }}_u^{\top }{\mathbf{\gamma }}_i+{\mathbf{\theta }}_u^{\top }\left(\mathbf{E}\varphi ({\mathbf{V}}_i)\right)\right)\\ & -\left(\alpha +{\beta }_u+{\beta }_{i^{\ast }}+{\mathbf{\gamma }}_u^{\top }{\mathbf{\gamma }}_{i^{\ast }}+{\mathbf{\theta }}_u^{\top }\left(\mathbf{E}\varphi ({\mathbf{V}}_{i^{\ast }})\right)\right)\\ & ={\beta }_i-{\beta }_{i^{\ast }}+{\mathbf{\gamma }}_u^{\top }\left({\mathbf{\gamma }}_i-{\mathbf{\gamma }}_{i^{\ast }}\right).\end{array}\text{\hspace{1em}(19)}$$
这里的 $\varphi ({\mathbf{V}}_{i^{\ast }})$ 等同于 $\varphi ({\mathbf{V}}_i)$，文中没有进行符号专门区别，我们这里不做特殊处理，等同处理。

同理，可以得到 DeepStyle 和 AMR 模型的 interaction 去偏计算方式：

$${\hat{y}}_{i,v,u}={\mathbf{\gamma }}_u^T\left({\mathbf{\gamma }}_i-{\mathbf{\gamma }}_{i^{\ast }}\right).\text{\hspace{1em}(20)}$$

这部分不再赘述。

可惜的是，作者没有对去偏的这类visual recommendation方法进行实验，显得这部分内容有点不知所云。也让这个论文篇幅有点头重脚轻。不过这部分的写作和公式推导还是相当工整的。

CausalRec

实际上，到现在为止，文章的方法论部分才算正式开始（微笑）。当然前面的内容为这部分奠定了很好的基础，使得这部分内容可以快速理解。

Debiasing for Mainstream Visually-aware Recommendation

作者根据因果图，将针对交互的预测分成两部分，i.e., $M$ 与 $N$。
具体来说, 作者这里对上述visual recommender模型进行了重新组织，即 $M_{i,u}$ 与 $N_{v,u}$ 分别负责用户与物品的协同过滤部分 和 visual和用户的互相作用：
$$Y_{i,v,u}=\mathcal{F}\left(M_{i,u},N_{v,u}\right),\text{\hspace{1em}(21)}$$
$$M_{i,u}={\gamma }_u^T{\gamma }_i,\text{\hspace{1em}(22)}$$
$$N_{v,u}={\theta }_u^{T}E\varphi \left(V_i\right),\text{\hspace{1em}(23)}$$
这里的融合函数 $\mathcal{F}\left(\cdot ,\cdot \right)$ 用于将 $M$ 与 $N$ 进行融合，对于上述的visual recommendation 来说，使用 $+$ 完成。

CausalRec Architecture

对于CausalRec的模型设计来说，为强调 visual 信息对间接路径的影响，作者在 CausalRec 的设计中加入了 $V\to M$ 的路径，如 图4 所示。

具体来说，对于交互结果的影响被分为三部分，$M_{i,u}$，$M_{i,v,u}$，及$N_{v,u}$。
设计分别如下：
$$M_{i,u}=\sigma \left({\mathbf{\gamma }}_u^{\top }{\mathbf{\gamma }}_i\right),\text{\hspace{1em}(24)}$$

$$M_{i,v,u}=\sigma \left({\mathbf{\gamma }}_u^{\top }\left({\mathbf{\gamma }}_i\circ \mathbf{E}\varphi \left(V_i\right)\right)\right),\text{\hspace{1em}(25)}$$

$$N_{v,u}=\sigma \left({\mathbf{\theta }}_u^{\top }\mathbf{E}\varphi \left(V_i\right)\right),\text{\hspace{1em}(26)}$$

融合部分设计通过乘法完成，对于把对于交互结果的预测进行拆分计算，最后进行融合的方式被称为late fusion，如下所示：

$$Y_{i,v,u}=\mathcal{F}\left(M_{i,u},M_{i,v,u},N_{v,u}\right)=M_{i,u}\cdot M_{i,v,u}\cdot N_{v,u},\text{\hspace{1em}(27)}$$

对于late fusion，可以参考论文《Clicks can be Cheating: Counterfactual Recommendation for Mitigating Clickbait Issue》。

CausalRec Training

模型训练也使用多任务学习方式，被拆分成了多个部分，每一部分的优化采用 BPR 损失完成，具体如下：

$$\ell ={\ell }_{\mathrm{rec}}\left(Y_{i,v,u}\right)+{\ell }_{\mathrm{rec}}\left(N_{v,u}\right)+{\hat{\ell }}_{\mathrm{rec}}\left(M_{i,u}{M}_{i,v,u}\right),\text{\hspace{1em}(28)}$$
针对每一部分的BPR损失，具体如下：
$${\ell }_{\mathrm{rec}}\left(\widehat{Y_{\cdot }}\right)\sum _{(u,i,j)\in O}-\ln \sigma \left({\hat{y}}_{ui}-{\hat{y}}_{uj}\right)+{\lambda }_1\Vert \Theta {\Vert }_2^2.\text{\hspace{1em}(29)}$$

CausalRec Inference

完成训练后，别忘了在推理阶段也让CausalRec适应TIE，具体如下：

$$Y_{i,v,u}=Y_{M_{i,u},M_{i,v,u},N_{v,u}}.\text{\hspace{1em}(30)}$$
$$Y_{i^{\ast },v^{\ast },u}=Y_{M_{i^{\ast },u},M_{i^{\ast },v^{\ast },u},N_{v,u}}.\text{\hspace{1em}(31)}$$
$$TIE=Y_{M_{i,u},M_{i,v,u},N_{v,u}}-Y_{M_{i^{\ast },u},M_{i^{\ast },v^{\ast },u},N_{v,u}}.\text{\hspace{1em}(32)}$$
$${\hat{y}}_{i,v,u}=M_{i,u}\cdot M_{i,v,u}\cdot N_{v,u}-{\lambda }_2\cdot M_{i^{\ast },u}\cdot M_{i^{\ast },v^{\ast },u}\cdot N_{v,u}.\text{\hspace{1em}(33)}$$

这里作者采用了一个比较取巧的做法，即引入了衰减因子 ${\lambda }_2$，使得对于因果效应的去处处于可控范围之内，这对于模型调参应该是相对更友好的。

P.S. 原文这里应该有个公式写错了，对应原文公式(26)，应改为本文中公式 (31)，即 $N_{v^{\ast },u}$ 改为 $N_{v,u}$。毕竟 $N$ 是没有进行干预的。

Experiments

这里贴一个Overall Experiment Comparison结果，其余内容不再赘述。

总结

本文提出了一个针对多模态推荐（视觉推荐）方向的因果推断模型CausalRec，论文本身写作非常工整，对于主流方法的讨论也是非常充分且必要的，对于初入因果推断的友友们值得大力推荐！！！