张量分解--非负矩阵分解 (NMF)

1. 非负矩阵分解问题描述

传统的NMF问题可以描述如下：给定矩阵 $V\in R_{+}^{n\times m}$, 寻找非负矩阵 $W\in R_{+}^{n\times r}$ 和非负矩阵 $H\in R_{+}^{r\times m}$, 使得 $V\approx AW$。可以理解为原始矩阵 $V$ 的列向量是对做矩阵 $A$ 中所有列向量的加权和，而权重系数就是有矩阵对应列向量的元素，故称 $A$ 为基矩阵， $W$ 为系数矩阵。一般情况下 $r$ 的选择要比 $n$ 小， 即满足 $(m+n)r<mn$，这时用系数矩阵代替原是矩阵，就可以实现对原是矩阵进行降维，得到数据特征的降维矩阵，从而减少存储空间减少计算机资源。

2.非负矩阵的求解

当矩阵的秩 $r$ 未知的时候，只能对矩阵的秩进行不断的遍历求解。如果知道矩阵的秩，可以通过 $EM$ 的方法对目标函数进行求解，主要思想是先对矩阵$A$和$W$进行随机猜一个值，然后进行不断地迭代，求解直到收敛。目前常用的方法有乘法更新法和 最小二乘法方法。

2.1. 乘法更新求解法

在乘法更新求解法的目标函数表达式为：
$$D_F\left(Y||AX\right)=\frac{1}{2}\left||Y-AX\right|{|}_F^2,s.t.a_{ij}\ge 0,x_{jt}\ge 0,\forall i,j,t$$
对这个目标函数表达式求解 KKT 条件得到如下：
$$A\ge 0,X\ge 0$$
$${▽}_A{D}_F\ge 0,{▽}_X{D}_F\ge 0$$
$$A\ast {▽}_A{D}_F=0,X\ast {▽}_X{D}_F=0$$
其中梯度的表达式为：
$${▽}_A{D}_F=AX{X}^T-Y{X}^T,{▽}_X{D}_F=A^{T}AX-A^{T}Y$$
结合上述的两组式子得到：
$$A\ast (AX{X}^T)=A\ast (Y{X}^T),X\ast (A^{T}AX)=X\ast (A^{T}Y)$$
即更新的规则为：
$$A\leftarrow A\ast \left[(Y{X}^T)\oslash (AX{X}^T+\epsilon )\right]$$
$$X\leftarrow X\ast \left[(A^{T}Y)\oslash (A^{T}AX+\epsilon )\right]$$

2.2.最小二乘法求解法

在最小二乘法中目标函数的表达式为：
$$D_F\left(Y||AX\right)=\frac{1}{2}\left||Y-AX\right|{|}_F^2,s.t.a_{ij}\ge 0,x_{jt}\ge 0,\forall i,j,t$$
对这个目标函数表达式求解 KKT 条件得到如下：
$$A\ge 0,X\ge 0$$
$${▽}_A{D}_F\ge 0,{▽}_X{D}_F\ge 0$$
$$A\ast {▽}_A{D}_F=0,X\ast {▽}_X{D}_F=0$$
其中梯度的表达式为：
$${▽}_A{D}_F(Y||AX)=\frac{\partial D_F(Y||AX)}{\partial A}=\left[-Y{X}^T+AX{X}^T\right]=0$$
$${▽}_A{D}_F(Y||AX)=\frac{\partial D_F(Y||AX)}{\partial X}=\left[-A^{T}Y+A^{T}AX\right]=0$$
即更新的规则为：
$$A\leftarrow {\left[Y{X}^T{\left(X{X}^T\right)}^{-1}\right]}_{+}={\left[Y{X}^{†}\right]}_{+}$$
$$X\leftarrow {\left[(A^{T}A{)}^{-1}{A}^{T}Y\right]}_{+}={\left[A^{†}Y\right]}_{+}$$

3. 非负矩阵收敛证明

4. 参考资料

1. http://www.xiongfuli.com/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/2016-01/NMF.html
2. https://blog.csdn.net/acdreamers/article/details/44663421