【推荐系统】AutoRec:当自编码器遇见协同过滤

论文地址：AutoRec: Autoencoders Meet Collaborative Filtering

一、概述

将自编码器(AutoEncoder)的思想和协同过滤结合：

• 是个标准的自编码器
• 利用协同过滤中的共现矩阵，完成物品向量或用户向量的自编码
• 利用自编码的结果得到用户对物品的预估评分

自编码器是什么？

• 目标

  • 自编码器的作用是将向量 $\mathbf{r}$作为输入，通过重建函数，使得得到的输出向量尽可能接近本身

• 定义

  • 设自编码器的重建函数为 $h(\mathbf{r};\theta )$
  • 目标函数如下，其中$S$为所有输入向量的集合
    $$mi{n}_{\theta }\sum _{\mathbf{r}\in S}||\mathbf{r}-h(\mathbf{r};\theta )|{|}_2^2$$

• 作用

  • 完成数据压缩和降维：重建函数的参数数量远小于输入向量的维度
  • 泛化：输出向量不完全等同于输入向量，具备一定的缺失维度的预测能力

二、结构

• 假设有 $m$ 个用户，$n$ 个物品
• $R_{m\times n}$ 为用户的评分矩阵
  • 每个用户 u ∈ U = { 1 , ⋯   , m } u\in U = \{1,\cdots, m\} u∈U={1,⋯,m} 可以被该用户对于$n$个物品的评分表示： ${\mathbf{r}}^u=(R_{u1},R_{u2},\cdots ,R_{un})$
  • 每个物品 $i\in I=1,\cdots ,n$ 可以被该物品得到的$m$个用户的评分表示为： ${\mathbf{r}}^{(i)}=(R_{1i},R_{2i},\cdots ,R_{mi})$
• AutoRec解决的问题就是
  • 设计一个 $user-based$ 或者 $item-based$的自编码器:
  1. 将 ${\mathbf{r}}^u$/ ${\mathbf{r}}^i$ 映射到一个低维的隐含空间
  2. 再在输出空间重建 ${\mathbf{r}}^u$/ ${\mathbf{r}}^i$
  • 通过自编码器重建的输出向量，来预测某个用户对于某个物品的评分

$item-based$ 的 $AutoRec$ 结构如下图所示：

• $r^{(i)}$ 为输入

• $h(\mathbf{r};\theta )$为网络输出的重构之后的$r^{(i)}$ ：
  $$h(\mathbf{r};\theta )=f(W\cdot g(V\mathbf{r}+\mathbf{\mu })+\mathbf{b})$$

  • $f(\cdot )$, $g(\cdot )$ 为激活函数，$\theta =W,V,\mathbf{\mu },\mathbf{b}$
  • 隐层的维度为 $k$
  • $W\in R^{m\times k}$, $V\in R^{k\times m}$
  • $\mathbf{\mu },\mathbf{b}$ 为$bias$，$\mathbf{\mu }\in R^k$, $\mathbf{b}\in R^m$

• 为防止过拟合，加入 $L2$ 正则化，目标函数如下：
  $$mi{n}_{\theta }\sum _{i=1}^n||r^{(i)}-h(r^{(i)};\theta )|{|}_o^2+\frac{\lambda }{2}\cdot (||W|{|}_F^2+||V|{|}_F^2)$$

模型推荐过程

• 当输入物品 $i$ 的评分向量为 ${\mathbf{r}}^{(i)}$，模型的输出向量 $h({\mathbf{r}}^{(\mathbf{i})};\theta )$ 就是所有用户对于物品 $i$ 的评分预测
• 第 $u$ 维就是用户 $u$ 对于物品 $i$ 的预测 ${\hat{R}}_{ui}$:
  $${\hat{R}}_{ui}=(h({\mathbf{r}}^{(\mathbf{i})};\theta ){)}_u$$
• 相较于$item-based$ $AutoRec$，$user-based$ $AutoRec$ 的优势在于只需要一次模型推断就可以重建用户对所有物品的评分向量，但是用户向量的稀疏性可能会影响模型效果

三、AutoRec的特点和局限性

• 丛神经网络出发，使用单隐层的AutoEncoder重建用户或者物品评分，具有一定的泛化和表达能力
• 模型简单，表达能力不足
• 拉开了使用深度学习解决推荐系统问题的序幕