传递熵——transfer entropy的计算和感想

今天第一次写博客，突然想写点自己做的东西。虽然可能做的不好，但是感觉很有意思想和大家分享一下.......自己做物理，但是不知什么原因冥冥之中自己却去做时间序列之间因果性的探测了，嘿嘿。 今天就分享一下自己搞清楚的一点点东西......

相信随着大数据的到来，会使得传递熵（transfer entropy）这种方法会受到更多人的关注，因为它是一种基于概率分布，香农熵，统计的方法得出时间序列间因果性的方法。这种方法首先提出是在PRL上由T.Schreiber 提出的，又用在生物系统中，所以这里大部分人可能不熟悉。由于transfer entropy 所需的时间序列长度较大，所以在普遍数据量较小的时代，只能用在神经信号和脑电图中。现在很多地方都意识到数据的重要性，各种传感器也被大量应用，原本不存在的数据来源慢慢的也被发掘了。相信transfer entropy 的春天就要来了。

什么是transfer entropy 它其实就是一个条件分布带来的探测到时间序列间的不对称性。说的学术一点：传递熵是在错误假设传递概率函数为p(i_n+1|i_n^(k)),而不是p(i_n+1|i_n^(k),j_n^(l))的情况下，预测系统状态额外需要的信息。这个信息由Y到X和由X到Y是不对称，这种不对称就带来了，驱动和响应的关系的建立。不过他和granger 因果性检验之间的等价性在一篇工作中已经证明。而且传递熵能对非线性时间序列应用，对这种granger的因果性也很敏感。下面看看它是怎么计算的：

这有k和l，两个参数，