张量分解论文学习

近期学习了一篇2017年新出炉的发表在Digital Signal Processing 上的论文《 Second-order optimization based adaptive PARAFAC decomposition of three-way tensors 》

论文研究对象为三阶张量，其中一个维度随着时间线性变化。该算法是基于牛顿方法优化的交替最小二乘算法。通过保持Khatri–Rao 积和更新每个时刻估计子空间的秩减少结构，该算法实现了线性的复杂度和更好的收敛性。还讨论了一种有非负约束的修正算法。并进行了平行算法实现方面的研究。

自适应分解算法由Nion and Sidiropoulos 最先提出，并提出了两个算法，递归最小二乘跟踪算法PARAFAC-RLST 和同步对角化跟踪算法(PARAFAC-SDT) 。该论文提出的算法是对3D正交投影近似子空间跟踪3D-OPAST 算法的改进，利用了Khatri–Rao 积的一种特殊解释，即在估计子空间每一列内部的共线向量。论文所提出的算法是自适应PC分解的二阶优化，叫做SOAP 算法。论文的主要贡献如下：