【论文笔记】Tensor Completion for Weakly-dependent Data on Graph for Metro Passenger Flow Prediction

前言

最近有荔枝要成为最有钱途的科研小哥，哼！所以开始了苦逼的科研生活，所以需要分享我的论文笔记，并且希望能够跟众大科研学者沟通交流以及多多请教！好了话不多说开始本次第一个论文笔记分享。
首先分享一下这篇论文的摘要内容，这篇文章的摘要主要讲了：“低秩张量分解和完全吸引了众多学者的极大兴趣。然而，低秩结构是一种全局属性，当给定特定的图结构时，数据呈现复杂且弱的依赖关系时，它将无法实现。推动这项研究的一个特殊应用是时空数据分析。如初步研究所示，弱依赖可能会恶化低秩张量完成性能。本文提出了一种新的低秩CANDECOMP/PARAFAC（CP）张量分解和完备框架，通过引入L1-范数惩罚和图拉普拉斯惩罚来模拟图的弱依赖性。我们进一步提出了一种基于块坐标下降的高效优化算法，以实现高效的估计。以香港地铁客流数据为例，对常规张量完成方法的性能进行了改进。”
我们分析这篇文章的摘要就大概知道了作者干了一件什么事情，作者以中国香港的地铁站的客流量预测为研究对象或者研究实体，并且解释了为什么普通的低秩张量分解为什么不能适用我们这种研究的对象身上哈。直言翻译过来就是，我提的方法非常适合用来做这种时空数据缺失情况下的补全工作，就是NB。

Introduction

紧接着，作者在引言部分介绍了最近几年对于张量补全和张量分解的一些官方的论述（eg.第一段就写了张量补全和张量分解这项研究是如何如何的火啊，尤其是介绍了时空数据可以被建模为一个高阶张量，而且 张量补全还可以很好的用来补全那些缺失的时空数据），当然这些说实在的作为一名数学渣渣我当然是看不懂的，毕竟脑子里还是停留在高等数学、线性代数、矩阵论这些东西。
然后，小渣渣的我连续看了一周的关于张量的数学知识，（可是把我坑惨了），好了言归正传作者将地铁的客流量定义为一种张量表达的形式：${\chi }^{s}tation\times point\times day$ ，该表达形式呢作者声称很完美的表达了时空背景下的地铁车站乘客流量。但是作者笔锋一转说到：“由于图结构的地理空间背景信息，两个站点如果有连接的话他们之间的相似性非常高，反之那就不高并列举了站点8和站点77的客流量曲线图。”据此，作者解释了什么是Weakly-Dependent data on Graph。
重点来了，作者介绍了他们的论文工作的贡献，他们提出了一个根据Weakly-Dependent data on Graph类型数据的正则化CP张量补全和分解框架，并且该论文做出的贡献有：

• 在CP分解的基础上构建了WGD类型数据的补全方法。
• 提出了一个高效 的优化方法。
• 证明了所提方法在地铁乘客客流量数据中的有效性。

Literature Review

这一部分呢个人感觉没什么好解释的，因为符号都看不懂什么意思啊，简直天书！索性去学习了张量的相关概念，好在网络上有几个好大哥写的博客非常的不戳！把链接奉上：
张量基础概念、张量分解、知乎上的张量讲解比较透彻自己恶补这方面知识！

Formulation

这部分（需要后续补充内容，敬请期待$\dots$），
但是文中作者介绍了一种优化的方法这个方法叫做***Block Coordinate Descent***直译过来就是块状坐标下降优化方法。这让我只知道梯度下降方法的白脖子有点不知所措哇！于是老规矩我立马查了查他是什么来路，木哈哈哈链接奉上：块坐标下降法

Experiments

紧接着就来到了实验环节部分了，在作者的实验设计中，作者的数据集是这样定义的：每个工作日是凌晨的五点钟到次日的凌晨一点钟，每五分钟采样一次，并且根据降采样的方法作者采样到了247个数据点，（有疑惑的是文中没说是随机降采样还是根据什么方法降采样的）。为了很好地分割数据作者使用2017年1月1号凌晨五点到2017年2月19号凌晨一点的数据作为训练集，验证集采用2017年2月19号凌晨五点~2017年2月20号早上11点10分的时间段数据，测试集采用2017:02:20 11:10AM ~ 2017:02:21 01:00AM作为缺失数据，（在这里其实也就是测试数据集了）。
所以，作者选择了15个车站的数据得到了${\chi }^{15\times 247\times 51}$ 大小的张量数据。
到了Graph部分，然后作者又定义了图数据，作者根据车站的地理空间信息表示为$G_{POI}$，并且对于每个车站的周围兴趣点收集为向量表示（酒店公寓、休闲购物、大型建筑、公共服务设施、居民区、学校、公共交通），每个维度的值作为相应设施的总量。
之后得到每个车站的$POI$向量，然后就可以 计算出车站$i$和$j$之间的余弦相似性：
{ G P O I } i , j = P O I i ⋅ P O I j ∣ ∣ P O I i ∣ ∣ ⋅ ∣ ∣ P O I j ∣ ∣ \{G_{POI}\}_{i,j} = \frac{{POI_i}\cdot{POI_j}}{||POI_i||\cdot||POI_j||} {GPOI​}i,j​=∣∣POIi​∣∣⋅∣∣POIj​∣∣POIi​⋅POIj​​
到了构建图模型的环节作者又介绍了$k-hop$方法和二元图方法。接着，作者对比了文中所提到的方法和他们自己提出的方法。这些方法分别是：

• Low-Rank Tensor Completion by Riemannian Optimization(geomCG)
• High Accuracy Low Rank Tensor Completion(HaLRTC)
• Fully Bayesian CP Factorization(FBCP)
• Tensor Rank Estimation based on $L_1$-regularized orthogonal CP decompositon(TREL1_CP)
• Low-Rank Tensor Decomposition with feature Variance Maximization via CP(TDVM_CP)
• Multi-Task for Inflow and Outflow Prediction combining the Lasso regularization term,Ridge regularization term, and Laplacian regularization term(MTIOP#LRS)

那么关于结果用脚指头想一想就是肯定作者牛逼嘛！

Conclusion and Future Work

本文作者研究了图模型基于弱依赖模式数据情况下的张量补全问题，并基于地铁客流量的研究对象。作者提出了新颖的张量补全方法，该方法通过引入弱依赖惩罚和图乘法算子。并且提出使用块坐标下降法优化该模型。

• 作者的未来研究工作是致力于Tucker张量分解方法对于弱依赖模式的数据的使用。