模型理解
GTN:学习多模态数据之间的关联性
GAT:赋予节点不同权重,以过滤特征,提取重要信息
GRU:简化的LSTM.学习时间依赖关系并且在T时间点做出value的预测
流程
- Serialization: 将多模态数据全部转化为time series
- Graph Stream Construction:在每个timeStamp t,建立一个异质图,形成Graph Stream
- Feature Filtering:
应用GTN,对Graph Stream进行update(学习节点的表示来捕捉多模态数据之间的关联),输出就是updated graph stream.
应用GAT,对每个graph赋予权重分数,来区分不同的模式以及实现特征筛选
Graph Stream Construction
- 每一个Data channel相当于一个维度,N就是指标个数。
- Graph
G
T
G_T
GT由节点集
X
t
X_t
Xt 和 邻接矩阵
A
A
A组成,每个时间点t,都会创建一个Graph。在整个时间流下,就得到了Graph Stream
- X t X_t Xt由这个时间点的所有data channels的值组成,即这个时间点的所有指标值。
-
A
∈
R
N
×
N
×
K
A \in R ^ { N \times N \times K}
A∈RN×N×K K是边种类的个数。
A
A
A相当于是给每一类边,都建了一个邻接矩阵,然后具体的计算公式如下: