FM模型理论之---矩阵形式解读

问题描述

  本文不解释FM模型，仅仅通过向量以及矩阵的形式解释FM模型的理论推导。网络上大部分的推导都是以元素级别的推导，过程显得臃肿。这里将以矩阵和向量的形式解释其偏导数的推导。多项式模型中，特征$x_i$与$x_j$的组合用$x_i{x}_j$表示。为了简单起见，我们讨论二阶多项式模型。具体的模型表达式如下（仅讨论二项式部分）：
$$L=\underset{i=1}{\overset{n-1}{\Sigma }}\underset{j=i+1}{\overset{n}{\Sigma }}{w}_{ij}\cdot x_i\cdot x_j$$
  若令$W=V^T\cdot V$，其中$V_{[k\times n]}=[V_1,V_2,\cdots ,V_n],V_i为shape等于[k,1]$的列向量。$w_{ij}$即为$W_{[n\times n]}$矩阵的元素。同时令列向量$\xi =[x_1,\cdots ,x_n{]}^T$。现在我们的目标是寻找$V$的偏导数？
  注意$w_{ij}$为$W$矩阵的上半区的元素，并且不含有斜对角线上的元素：
$$\therefore L=\frac{1}{2}{\xi }^T{V}^{T}V\xi -\frac{1}{2}\underset{i=1}{\overset{n}{\Sigma }}{x}_i{V}_i^T{V}_i{x}_i$$

推导过程

  令：
$$\{\begin{array}{rl}{L}_1& =\frac{1}{2}{\xi }^T{V}^{T}V\xi \\ L_2& =\frac{1}{2}\underset{i=1}{\overset{n}{\Sigma }}{x}_i{V}_i^T{V}_i{x}_i\end{array}$$
则：
$$\begin{array}{rl}\frac{\partial L_1}{\partial V}& =\frac{\partial L_1}{\partial (V\xi )}\cdot \frac{\partial V\xi }{\partial V}\\ & =V\xi \cdot {\xi }^T\end{array}$$
同时
$$\frac{\partial L_2}{\partial V_i}=V_i{x}_i^2$$
$$\therefore \frac{\partial L_2}{\partial V}=[V_1{x}_1^2,\cdots V_i{x}_i^2\cdots ,V_n{x}_n^2]$$
  最终结果为：
$$\therefore \frac{\partial L}{\partial V}=V\xi \cdot {\xi }^T-[V_1{x}_1^2,\cdots V_i{x}_i^2\cdots ,V_n{x}_n^2]$$

总结

   其实一共就仅用了实数对向量求偏导和对矩阵求偏导的知识。本文不做这两个方面的推导，可以参考偏导数链式法则。

后续

  上面的内容是个人能力范围内最简化的推导过程了，但是整个流程下来还是觉得不够过瘾，因为在求$\partial L_2/\partial V$时不免俗的将矩阵$V$拆开求对向量$V_i$的偏导，然后再组合为对$V$的偏导。下面使用矩阵的方法求偏导，不过反而将问题复杂化了（目的还是在于验证直接通过对矩阵求偏导方法的可行性）。
  构造：
$$X={\left[\begin{array}{cccc}{x}_1& 0& \cdots & 0\\ 0& x_2& \cdots & 0\\ ⋮& & & \\ 0& \cdots & 0& x_n\end{array}\right]}_{n\times n}$$
$$\begin{array}{rl}\therefore L_2& =\frac{1}{2}\underset{i=1}{\overset{n}{\Sigma }}{x}_i{V}_i^T{V}_i{x}_i\\ & =\frac{1}{2}Tr(X{V}^{T}VX)\because X=X^T\\ & =\frac{1}{2}Tr(X^T{V}^{T}VX)\end{array}$$
令$Z=V\cdot X$，即$L_2=1/2\cdot Tr(Z^{T}Z)$则：
$$\frac{\partial L_2}{\partial Z}=Z$$
因此:
$$\begin{array}{rl}\frac{\partial L_2}{\partial V}& =\frac{\partial L_2}{\partial Z}\cdot \frac{\partial Z}{\partial V}\\ & =Z\cdot X^T\because X=X^T\\ & =Z\cdot X\\ & =V\cdot X^2\end{array}$$
  非常接近结论了，$X$为对角阵，对角线上的元素为$\xi$中的变量$x_i$。$X^2$也为对角阵，用其右乘矩阵$V$,相当于对矩阵的列向量的乘法操作。
$$V\cdot X^2=[V_1,V_2,\cdots ,V_n]\cdot X^2=[V_1{x}_1^2,\cdots V_i{x}_i^2\cdots ,V_n{x}_n^2]$$
  可见如果写成矩阵形式：
$$\therefore \frac{\partial L}{\partial V}=V\xi \cdot {\xi }^T-V\cdot X^2$$