基于最小二乘的矩阵分解问题

基于最小二乘的矩阵分解问题

例如已知代价函数： ${\it min}\ \ {\bf D}=||{\bf Y-AX} ||{\it^2_F}$

一般思想是将固定其中一个因子矩阵，计算关于另外一个因子矩阵的导数。为了计算方便一般将上述代价函数转为如下形式：

$${\it min}\ \ {\bf D}=tr[({\bf Y-AX})({\bf Y-AX})^T] \ or\ \ \ tr[({\bf Y-AX})^T({\bf Y-AX})]$$
将代价函数转化为求取矩阵的迹之后，可更加方便求解最优化问题。

计算因子矩阵

• 固定 ${\bf X}$, 计算 ${\bf A}$
• 固定 ${\bf A}$, 计算 ${\bf X}$
• 往复循环直至满足阈值条件，参见als思想

以计算${\bf A}$为例

固定 ${\bf X}$, 计算对 ${\bf D}$关于 ${\bf A}$的导数

$$\frac{{\rm d}{\bf D}}{{\rm d}{\bf A}}=\frac{{\rm d}[tr({\bf YY^T - AXY^T-YX^TA^T+AXX^TA^T)}] }{{\rm d}{\bf A}}$$
化简之，
$$\frac{{\rm d}{\bf D}}{{\rm d}{\bf A}}=2{\bf AXX^T}-2 {\bf YX^T}$$
则可得， ${\bf A} \leftarrow {\bf YX^T}{({\bf XX}^T)^{-1}}$
同理可得， ${\bf X} \leftarrow {({\bf A^TA})^{-1}}{\bf A^TY}$

附录1：关于矩阵分解的HALS代码

E = T - A*B';
%% algorithm based on HALS
while iter < iter_max
    iter = iter + 1;
    for j = 1:J
        Cj = E + A(:,j)*B(:,j)';
        B(:,j) = pinv(A(:,j)'*A(:,j))*Cj'*A(:,j);
        B(:,j) = max(eps,B(:,j));

        A(:,j) = pinv(B(:,j)'*B(:,j))*Cj*B(:,j);
        A(:,j) = max(eps,A(:,j));
        A(:,j) = A(:,j)./norm(A(:,j));
        E = Cj - A(:,j)*B(:,j)';
    end
end

附录2：关于迹函数的求导

详见《矩阵分析与应用》第五章 作者张贤达