Coursera - 机器学习技法 - 课程笔记 - Week 15

Matrix Factorization

Linear Network Hypothesis

• Netflix推荐问题：
  • 对电影$m$，有用户$n$的评分$r_{nm}$
  • ${\tilde{\mathbf{x}}}_n=(n),y_n=r_{nm}$
  • 抽象特征，称之为类别特征
• 大部分ML模型都是处理数值特征
  • 线性特征
  • 拓展线性网络——NNet
  • 决策树可以处理非数值特征
• 思路：将类别特征转换到数值特征——encoding
  • 二元向量编码——one-hot
• 整合对每一个用户$n$，有$y_n=[r_{n1},?,?,r_{n4},\dots ,r_{nM}]$，其中问号为未评分情况
• 思路：使用$N-\tilde{d}-M$的神经网络完成特征抽取
  • 由于输入只有一个为1，其余为0，中间隐藏层的神经元可以为线性
  • Linear Network
  • 为了方便表示，将两层权重表示成两个矩阵$V_{N\times \tilde{d}}^T$和$W_{\tilde{d}\times M}$
  • 则整个线性网络表示为$h(\mathbf{x})=W^{T}V\mathbf{x}$
  • 对每一个用户，$h({\mathbf{x}}_n)=W^T{\mathbf{v}}_n$，其中${\mathbf{v}}_n$表示$V$的第$n$列
  • 目标即学习这两个矩阵

Basic Matrix Factorization

• 对第$m$个电影，可以视为一个简单的线性模型$h_m(\mathbf{x})={\mathbf{w}}_m^T\Phi (\mathbf{x})$
• 则有$r_{nm}\approx {\mathbf{w}}_m^T{\mathbf{v}}_n$
• 回归任务，平方误差（省略参数）： E i n ( { w m } , { v n } ) = ∑ ( r n , m − w m T v n ) 2 E_{in} (\{\bold w_m\}, \{\bold v_n\}) = \sum (r_{n,m} - \bold w_m^T \bold v_n)^2 Ein​({wm​},{vn​})=∑(rn,m​−wmT​vn​)2
• 特征转换和线性模型的联合学习
• 考虑对称性：$r_{nm}\approx {\mathbf{w}}_m^T{\mathbf{v}}_n={\mathbf{v}}_n^T{\mathbf{w}}_m$
• 矩阵形式：$R\approx V^{T}W$
  • 通过对分解出的矩阵的学习，实现对$R$中未知项的预测
  • 抽象特征都可以使用这种解决思路
• 最小化目标： min ⁡ W , V E i n ( { w m } , { v n } ) \min_{W, V} E_{in} (\{\bold w_m\}, \{\bold v_n\}) minW,V​Ein​({wm​},{vn​})
  • 只在已知评分上计算误差
• 双组变量优化：交替优化？
  • 固定${\mathbf{v}}_n$，优化${\mathbf{w}}_m$：在${\mathcal{D}}_m$上的误差最小化，对每一步电影做线性回归
  • 固定${\mathbf{w}}_m$，优化${\mathbf{v}}_n$：对称性的考虑，对每一个用户做线性回归
  • 交替最小平方算法
  • 初始化：随机初始化矩阵
• 可以认为自编码器是一个矩阵分解的特例（两个矩阵相同，所有项已知）

Stochastic Gradient Descent

• 对于每一个样本，有误差$\mathrm{err}(n,m,r_{nm})=(r_{nm}-{\mathbf{w}}_m^T{\mathbf{v}}_n{)}^2$
• 对用户矩阵的梯度：${\nabla }_{{\mathbf{v}}_n}=-2(r_{nm}-{\mathbf{w}}_m^T{\mathbf{v}}_n){\mathbf{w}}_m$
• 对电影矩阵的梯度：${\nabla }_{{\mathbf{w}}_m}=-2(r_{nm}-{\mathbf{w}}_m^T{\mathbf{v}}_n){\mathbf{v}}_n$
• 梯度等价于$-(residual)(otherfactor)$
• SGD用于矩阵分解
  • 随机取得一个已知点$r_{nm}$
  • 计算residual${\tilde{r}}_{nm}=(r_{nm}-{\mathbf{w}}_m^T{\mathbf{v}}_n)$
  • SGD更新
    • ${\mathbf{v}}_n^{new}\leftarrow {\mathbf{v}}_n+\eta {\tilde{r}}_{nm}{\mathbf{w}}_m$
    • ${\mathbf{w}}_m^{new}\leftarrow {\mathbf{w}}_m+\eta {\tilde{r}}_{nm}{\mathbf{v}}_n$

Summary of Extraction Models

• 抽取模型：特征转换+线性模型
  • 特征转换增强数据的表达性
• 优势：
  • 对人很容易使用——减少人设计特征的麻烦
  • 有足够的隐藏变量，足够强大
• 劣势：
  • 优化过程比较难
  • 复杂模型，有过拟合风险