转移熵简介

转移熵

转移熵 Transfer entropy（也可译为传递熵）是衡量两个随机过程之间有向（时间不对称）信息传递量的非参数统计量。[1][2][3]
过程X到过程Y的转移熵是指在给定过去值Y得到过去值X时，Y值不确定性的减少量。更具体地，如果Xt和Yt（t∈N）表示两个随机过程，且信息量用香农熵 Shannon entropy测量，则转移熵可以写为：

其中 H (x)是 x 的香农熵。上述转移熵的定义已被其他类型的熵测度(如 Rényi熵 Rényi entropy)所扩展。[3][4]

转移熵是条件[5][6]互信息 conditional mutual information，其历史变量为 Yt−1:t−L:

对于向量自回归过程 vector auto-regressive processes，转移熵简化为’ 格兰杰因果关系 Granger causality’。[7]因此，当格兰杰因果关系的模型假设不成立时，例如对非线性信号的分析时，转移熵就更具优势。[8][9]然而，它通常需要更多的样本才能进行准确估计 。

熵公式中的概率可以用不同的方法估计，如分箱 binning、最近邻 nearest neighbors，或为了降低复杂度，使用非均匀嵌入方法。[10]

虽然转移熵最初定义为双变量分析，但它已经扩展到多变量形式，或者对其他潜在源变量进行调节，[11] 或者考虑从一组源的传递，[12]尽管这些形式再次需要更多的样本。

转移熵被用于估计神经元的功能连接[13][14]和社交网络的社交影响。[8]

转移熵是有向信息的有限形式，1990年由詹姆斯·梅西 James Massey[15]定义为

其中 Xn表示向量X1,X2,…,Xn和Yn表示 Y1,Y2,…,Yn。有向信息在描述有无反馈[16] [17]信道的基本限制(信道容量)与基于因果信息赌博[18]方面起着重要作用。

来源：https://wiki.swarma.org/index.php/%E8%BD%AC%E7%A7%BB%E7%86%B5