对Tensor Ring Decomposition with Rank Minimization onLatent Space一文求解算法部分公式的推导

• 本文所要优化的目标函数:
  $$min\sum _{n=1}^N\sum _{i=1}^3\Vert G_{(i)}^{(n)}{\Vert }_{\ast }+\frac{\alpha }{2}\Vert X-\psi ([G]){\Vert }_F^2$$
  $$s.t.P_{\Omega }(\mathcal{X})=P_{\Omega }(\mathcal{T})$$

其中$\mathcal{X}是只有部分真实点\mathcal{T}中包括所有的真实点$

• 接下来需要采用$ADMM$算法进行该目标函数的求解
  • 首先由于$TRLRF$模型的变量是相互依赖的，添加辅助变量来简化优化
    $\to min{\sum }_{n=1}^N{\sum }_{i=1}^3\Vert G_{(i)}^{(n)}{\Vert }_{\ast }+\frac{\alpha }{2}\Vert X-\psi ([G]){\Vert }_F^2$
    添加辅助变量$\mathcal{M}$,然后通过扩展拉格朗日乘子法改写目标函数形式
    $\to min{\sum }_{n=1}^N{\sum }_{i=1}^3(\Vert M_{(i)}^{(n,i)}{\Vert }_{\ast }+<{\mathcal{Y}}^{(n,i)},M^{(n,i)}-G^{(n)}>+\frac{\mu }{2}\Vert M^{(n,i)}-G^{(n)}{\Vert }_F^2)+\frac{\alpha }{2}\Vert X-\psi ([G]){\Vert }_F^2$
    $s.t.{\mathcal{M}}_{(i)}^{(n,i)}={\mathcal{G}}_{(i)}^{(n)}$
    $s.t.P_{\Omega }(\mathcal{X})=P_{\Omega }(\mathcal{T})$
• 第一步，对$G^{(n)}$进行更新
  • 将$G^{(n)}$看作是一个变量，然后对目标函数关于$G^{(n)}$进行求导,导数如下：
    $\to {\sum }_{i=1}^3(-{\mathcal{Y}}^{(n,i)}-\mu (M^{(n,i)}-G^{(n)})+(\frac{\alpha }{2}\Vert X-\psi ([G]){\Vert }_F^2{)}^{{}^{\prime }}$
    $\to 求该导数的原函数$
    $\to \int {\sum }_{i=1}^3\mu (-\frac{1}{\mu }{\mathcal{Y}}^{(n,i)}-M^{(n,i)}+G^{(n)})d(G^{(n)})+\frac{\alpha }{2}\Vert X-\psi ([G]){\Vert }_F^2+C_G$
    $\to {\sum }_{i=1}^3\frac{\mu }{2}\Vert M^{(n,i)}-G^{(n)}+\frac{1}{\mu }{\mathcal{Y}}^{(n,i)}{\Vert }_F^2+\frac{\alpha }{2}\Vert X-\psi ([G]){\Vert }_F^2+C_G$
  • 这是一个最小二乘问题，对其更新就要求他的最小值，做法便是对该目标函数进行求导，令其为零即可：
    $\to {\sum }_{i=1}^3(-{\mathcal{Y}}^{(n,i)}-\mu (M^{(n,i)}-G^{(n)})+(\frac{\alpha }{2}\Vert X-\psi ([G]){\Vert }_F^2{)}^{{}^{\prime }}$
    $\to {\sum }_{i=1}^3(-{\mathcal{Y}}^{(n,i)}-\mu M^{(n,i)}+\mu G^{(n)})+\alpha (X-\psi ([G]))(\psi ([G]){)}^{{}^{\prime }}$
    令该导数为零，即得到如下等式：
    $\to {\sum }_{i=1}^3({\mathcal{Y}}^{(n,i)}+\mu M^{(n,i)}-\mu G^{(n)})=\alpha (\psi ([G]-X))(\psi ([G]){)}^{{}^{\prime }}$
    其中在模-2展开的情形下$(\psi ([G]){)}^{{}^{\prime }}=G_{(2)}^{(\ne n)}$
    $\to {\sum }_{i=1}^3({\mathcal{Y}}_{(2)}^{(n,i)}+\mu M_{(2)}^{(n,i)}-\mu G_{(2)}^{(n)})=\alpha (G_{(2)}^{(n)}{G}_{(2)}^{(\ne n,T)}-X_{(n)}))G_{(2)}^{(\ne n)}$
    $\to {\sum }_{i=1}^3({\mathcal{Y}}_{(2)}^{(n,i)}+\mu M_{(2)}^{(n,i)}-\mu G_{(2)}^{(n)})=\alpha G_{(2)}^{(n)}{G}_{(2)}^{(\ne n,T)}{G}_{(2)}^{(\ne n)}-\alpha X_{(n)}{G}_{(2)}^{(\ne n)}$
    $\to \alpha G_{(2)}^{(n)}{G}_{(2)}^{(\ne n,T)}{G}_{(2)}^{(\ne n)}+3\mu G_{(2)}^{(n)}={\sum }_{i=1}^3({\mathcal{Y}}_{(2)}^{(n,i)}+\mu M_{(2)}^{(n,i)})+\alpha X_{(n)}{G}_{(2)}^{(\ne n)}$
    $\to G_{(2)}^{(n)}(\alpha G_{(2)}^{(\ne n,T)}{G}_{(2)}^{(\ne n)}+3\mu I)={\sum }_{i=1}^3({\mathcal{Y}}_{(2)}^{(n,i)}+\mu M_{(2)}^{(n,i)})+\alpha X_{(n)}{G}_{(2)}^{(\ne n)}$
    $\to G_{(2)}^{(n)}=({\sum }_{i=1}^3({\mathcal{Y}}_{(2)}^{(n,i)}+\mu M_{(2)}^{(n,i)})+\alpha X_{(n)}{G}_{(2)}^{(\ne n)})(\alpha G_{(2)}^{(\ne n,T)}{G}_{(2)}^{(\ne n)}+3\mu I{)}^{-1}$
    然后两边同时进行模-2收缩，便可以得到关于$G^{(n)}$的更新公式
• 第二步，对$M^{(n,i)}$进行更新
  • 与上述更新方式相同，可以先写出$L()$关于$M^{(n,i)}$的表达式，然后求导，令其结果为零即可。
    $\to L(M^{(n,i)})=\Vert M_{(i)}^{(n,i)}{\Vert }_{\ast }+\frac{\mu }{2}\Vert M^{(n,i)}-G^{(n)}+\frac{1}{\mu }{\mathcal{Y}}^{(n,i)}{\Vert }_F^2+C_M$
    对其进行求导操作，其中比较困难的是关于矩阵核范数求导，一般有两种方法，第一种方法是$SVT$(论文中经常用的方法，第二种是利用定义进行证明(不一定对于所有的都适用))
    $1、SVT算法$
    $Theorem1:对于任意的\mu >0并且Y\in R^{n_1\times n_2}符合如下形式的最优解为：$
    D μ ( Y ) = a r g m i n x { 1 2 ∥ X − Y ∥ F 2 + μ ∥ X ∥ ∗ } D_{\mu}(Y)=argmin_x\{\frac{1}{2}\|X-Y\|_F^{2}+\mu\|X\|_*\} Dμ​(Y)=argminx​{21​∥X−Y∥F2​+μ∥X∥∗​}
    其中 $D_{\mu }()$ 操作称之为 $SVT$ ，算法思想如下
    (1)对 $Y$ 进行奇异值分解为 $Y=U\sum V^T$ ,其中 $\sum$是包含奇异值的矩阵，接下来 $U$ 和 $V$ 保持不变，然后对所有的奇异值减去 $\mu$ 的操作，如果该奇异值小于 $\mu$ 则令其为零。
    $\to D_{\mu }(Y)=Udiag{({\sigma }_i-\mu )}_{+}V$
    接下来可以对该目标函数通过SVT的方法求解最优解
    $\to$ 可以看出该目标函数中的 $Y=G^{(n)}-\frac{1}{\mu }{\mathcal{Y}}^{(n,i)}$
    $\to M^{(n,i)}=fol{d}_i(D_{\frac{1}{\mu }}(G_{(i)}^{(n)}-\frac{1}{\mu }{\mathcal{Y}}_{(i)}^{(n,i)}))$
• 第三步，对$X$进行更新，
  • 这一步比较容易，因为观测点的值是给定的，剩下的点由$G$相乘得到
    $\to X=P_{\Omega }(T)+P_{{\Omega }^{+}}(\psi ([G]))$
• 第四步，对${\mathcal{Y}}^{(n,i)}$进行更新
  • $\to {\mathcal{Y}}_{+}^{(n,i)}={\mathcal{Y}}^{(n,i)}+\mu (M^{(n,i)}-G^{(n)})$
• 第五步，对$\mu$进行更新，$\mu$是惩罚项因子，也是随着每一次的迭代需要变化的
  • → μ + = m a x { ρ μ , μ m a x } , 1 < = ρ < = 1.5 \large \rightarrow \mu_+=max\{\rho \mu ,\mu_{max}\},1<=\rho<=1.5 →μ+​=max{ρμ,μmax​},1<=ρ<=1.5 $\rho$是一个超参数