逆向倾向评分 (Inverse Propensity Scoring, IPS) 原理解析与MF算法的结合使用

当历史交互数据为MCAR(Missing Completely At Random，完全随机缺失)时，评级预测损失函数可以定义为：
L o s s N a i v e = 1 ∣ { ( u , i ) : o u , i = 1 } ∣ ∑ ( u , i ) : o u , i = 1 δ u , i ( Y , Y ^ ) \mathcal{Loss}_{Naive}=\frac{1}{|\{(u,i):o_{u,i}=1\}|}\sum_{(u,i):o_{u,i}=1}\delta_{u,i}(Y,\hat{Y}) LossNaive​=∣{(u,i):ou,i​=1}∣1​(u,i):ou,i​=1∑​δu,i​(Y,Y^)其中，$\hat{Y}$表示预测的评级；$Y$ 表示 $u$ 对 $i$ 的实际评级；$o_{u,i}=1$ 表示 $u$ 对 $i$ 有评级； ∣ { ( u , i ) : o u , i = 1 } ∣ |\{(u,i):o_{u,i}=1\}| ∣{(u,i):ou,i​=1}∣ 表示所有被浏览项目的数量；${\delta }_{u,i}(Y,\hat{Y})$ 表示 $Y$ 与 $\hat{Y}$ 之间匹配程度的度量，可以定义为：$${\delta }_{u,i}^{MSE}(Y,\hat{Y})=(y_{u,i}-{\hat{y}}_{u,i}{)}^2$$$${\delta }_{u,i}^{MAE}(Y,\hat{Y})=|y_{u,i}-{\hat{y}}_{u,i}|$$

但是历史记录往往是MNAR(Missing Not At Random，非随机缺失)的，那么整体评级预测损失就是有偏的：$$\begin{array}{rl}\mathbb{E}[{\mathcal{L}oss}_{Naive}]& =\frac{1}{{\sum }_{u=1}^N{\sum }_{i=1}^{M}p(o_{u,i}=1)}\sum _{u=1}^N\sum _{i=1}^{M}p(o_{u,i}=1){\delta }_{u,i}(Y,\hat{Y})\\ & \ne \frac{1}{N\cdot M}\sum _{u=1}^N\sum _{i=1}^M{\delta }_{u,i}(Y,\hat{Y})\end{array}$$其中，$p(o_{u,i}=1)$ 是指 $u$ 浏览 $i$ 的概率；$\frac{1}{N\cdot M}{\sum }_{u=1}^N{\sum }_{i=1}^M{\delta }_{u,i}(Y,\hat{Y})$ 指的是所有 $u$ 对所有 $i$ 平均评分损失，它是一种算术平均；$\mathbb{E}[{\mathcal{L}oss}_{Naive}]$指的是被浏览的 $i$ 的期望评分损失，它是一种加权平均。

加权平均是有偏的，它的偏差就来自于给不同自变量分配的权值，在推荐任务中，这个权值指的就是物品被观测（浏览）到的概率。一种减轻MNAR反馈中偏差的影响的IPS估计法这样定义评级预测损失函数：$${\mathcal{L}oss}_{IPS}=\frac{1}{N\cdot M}\sum _{(u,i):o_{u,i}=1}\frac{\delta (Y,\hat{Y})}{p(o_{u,i}=1)}$$该公式的思想是消除权值（浏览概率）的影响，于是就有了无偏估计的公式：$$\begin{array}{rl}\mathbb{E}[{\mathcal{L}oss}_{IPS}]& =\frac{1}{N\cdot M}\sum _{u=1}^N\sum _{i=1}^M\frac{p(o_{u,i}=1){\delta }_{u,i}(Y,\hat{Y})}{p(o_{u,i}=1)}\\ & =\frac{1}{N\cdot M}\sum _{u=1}^N\sum _{i=1}^M{\delta }_{u,i}(Y,\hat{Y})\end{array}$$注意到，${\mathcal{L}oss}_{IPS}$ 与 ${\mathcal{L}oss}_{Naive}$ 的区别不仅仅在于消除权值，而且 ${\mathcal{L}oss}_{IPS}$ 是整体的损失，而 ${\mathcal{L}oss}_{Naive}$ 是浏览过的项目的损失。

所以要使这个公式真正起作用，必须知道全部项目的 $p(o_{u,i}=1)$ 的具体值。在实际的应用中，历史交互数据中记录了部分评级数据，因此可以利用某种拟合方法来推断 $p(o_{u,i}=1)$ 的模型，例如：

1. 通过朴素贝叶斯进行倾向估计
   $$p(o_{u,i}=1|y_{u,i}=r)=\frac{p(y=r|o=1)p(o=1)}{p(y=r)}$$其中 $p(y=r|o=1)$ 和 $p(o=1)$ 是通过MNAR数据集中的历史交互数据统计出来的。$p(y=r)$ 是从一个MCAR数据集获取的，这样就能计算出MCAR的$p(o_{(u,i)}=1|y_{(u,i)}=r)$。这种方法必须要确保有部分可用的MCAR数据。并且它只能拟合出被评分过项目的浏览概率。
2. 通过逻辑回归进行倾向估计
   $$p(o_{u,i}|X,\varphi )=\sigma ({\omega }^T{X}_{u,i}+{\beta }_i+{\gamma }_u)$$其中，$\sigma (\cdot )$ 是Sigmoid函数，用于将数值归一化；$X_{u,i}$ 是用户-项目对的特征；$\varphi$ 代表参数集合，包括：${\omega }^T$ 是权重参数、${\beta }_i$ 是项目的偏置项参数、${\gamma }_u$ 是和用户的偏置项参数。这种方法不需要实现筛选出一个MCAR数据集，且可以拟合所有项目的浏览概率。

获得了权重 $p(o_{u,i}=1)$ 后就可以预测对应的无偏评级了。需要说明的是，通过朴素贝叶斯进行倾向估计是相对简单易实现的方法，但这种方法得到的结果是没法直接用来产生推荐的，但是下一步已经很好继续下去了。例如可以使用矩阵分解（matrix factorization，MF）来预测其余项目的评分。

我随手找了一张矩阵分解方法的示意图，可以认为，拟合出权重 $p(o_{u,i}=1)$ 的项目的无偏评级就是上表中红色的数值，未拟合出权重的项目评级就是上表中的问号。矩阵分解通过下面的公式将用户-物品交互矩阵分解成两个隐特征矩阵：$${\hat{y}}_{u,i}={p\text{p}p}_u^T{q\text{q}q}_i+a_u+b_i+c$$其中 ${p\text{p}p}_u$ 是用户的隐特征矩阵；${q\text{q}q}_i$是项目的隐特征矩阵；$a_u$、$b_i$、$c$分别是用户、项目和全局偏置项。那么此时，矩阵分解的损失函数就表达为：$$\underset{P\text{P}P,Q\text{Q}Q,A\text{A}A}{\mathrm{argmin}}(\sum _{(u,i):o_{u,i}=1}\frac{\delta (Y,\hat{Y})}{p(o_{u,i}=1)}+\lambda (\Vert P\text{P}P{\Vert }_F^2+\Vert Q\text{Q}Q{\Vert }_F^2))$$其中，${\sum }_{(u,i):o_{u,i}=1}\frac{\delta (Y,\hat{Y})}{p(o_{u,i}=1)}$指的是无偏的预测评级与真实评级之间的损失，$\lambda (\Vert P\text{P}P{\Vert }_F^2+\Vert Q\text{Q}Q{\Vert }_F^2)$是为了防止过拟合加入的正则化项。优化的参数$P\text{P}P,Q\text{Q}Q,A\text{A}A$分别代表用户的隐特征矩阵、项目的隐特征矩阵和偏置项，最终的预测评级就表示为：$$\hat{Y}={P\text{P}P}^{T}Q\text{Q}Q+A\text{A}A$$这时候，之前未拟合出权重的项目评级也可以通过公式 $\hat{Y}={P\text{P}P}^{T}Q\text{Q}Q+A\text{A}A$ 计算得到了。