论文总结：用基于注意力机制的卷积神经网络进行因果发现

Causal discovery with attention-based convolutional neural networks

本文针对时序数据的因果推断，提出了一个 时序因果发现框架TCDF（Temporal Causal Discovery Framework)，开创性地利用深度学习强大的表达能力发现时序数据中的因果关系，并构造因果关系图。TCDF使用了基于注意力机制的卷积神经网络和一个因果验证步骤。TCDF能学习出包含混杂因子和瞬时效应的因果关系图，也能通过解释CNN中的参数发现变量间的因果时延，还能发现特定情况下隐藏混杂因子的存在。通过对比可以发现，本文的工作为复杂系统的时序因果发现提供了一个全新的视角。

问题描述

时序因果发现的目标是给定时间序列 X = { x 1 , … , x n } X = \{x_1,\dots,x_n\} X={ x1​,…,xn​}，( x i = { x i 1 , x i 2 , … , x i t , … , x i T } x_i=\{x_i^{1},x_i^2,\dots,x_i^t,\dots,x_i^T\} xi​={ xi1​,xi2​,…,xit​,…,xiT​})，构造因果关系图，如下图所示，因果图中的有向边被标注为因果时延。时序因果推断则是根据因果关系图和其它变量在时刻$T$以及$T$之前的值预测变量在时刻$T$的值。之所以会用到其它变量在时刻$T$的值，是因为因果图中的变量间可能存在瞬时效应。

时序因果发现框架TCDF

时序数据的因果发现与非时序数据的因果发现最大的一点不同是，时序数据中包含时间属性，而原因一定不会晚于结果的发生，是判断因果方向的重要依据。TCDF包含四个部分：

1. 时序预测：使用卷积神经网络对时序数据建模，针对每一个变量，用其它变量在时刻$T$以及$T$之前的值回归并预测该变量在时刻$T$的值。
2. 注意力解释：TCDF在卷积神经网络中采用了注意力机制，根据学习到的不同变量的注意力系数，可以将注意力系数解释为变量间的相关程度，低于一定阈值就可以认为两个变量没有因果关系。
3. 因果验证：注意力机制只能发现可能的因果关系，需要进一步验证。
4. 时延发现：除了因果发现，TCDF还能通过CNN中的参数发现变量间因果效应的时延。
   
   TCDF具体结构如下：
   

时序预测

本文的工作基于通用时序卷积网络（TCN）进行扩展。TCN为卷积神经网络架构，其中卷积核维度为1、长度为$K$，有$L$个隐藏层。对于单层网络，感受域（网络能感知到的时间步）为卷积核的长度$K$，为了发现因果关系，感受域应该不小于因果时延。为扩大感受域，可以增加隐藏层的数量$L$或卷积核的长度$K$，CNN的感受域为$$R_{CNN}=1+(L+1)(K-1)=1+\sum _{i=0}^L(K-1)\text{\hspace{1em}(1)}$$而TCN则使用了扩张卷积(dilated convolutioon)，卷积核以步长$f=c^l$跳过部分输入，其中$f$为扩张因子，$c$为扩张系数，$l$为卷积核所在的层。如Figure 5所示，扩张TCN（D-TCN）的感受域为 R D − T C N = 1 + ∑ l = 0 L ( K − 1 ) ⋅ c l (2)