使用 信息论 (互信息) 处理科学问题的基本步骤是

1、构建状态空间；

状态空间的构建方法有很多种；等count、等宽度，...and so on;

2、计算不同状态的概率；

以频率，近似代替概率，所以要求实验的次数得尽可能得多；

3、计算 熵、或者互信息；

------

对基本概念的理解：

1、熵是 确定状态时需要的是否问题的平均数量；

2、信息的两个含义：

（1）、不确定性的减少；

（2）、两个概率分布之间的KL散度；

3、什么是互信息，

        知乎： 衡量随机变量之间相互依赖程度的度量。

        我的理解：一个变量携带了多少关于另外也给变量的信息？

        或者说，两个变量之间的相互作用，有多大？

4、条件互信息，第三个变量的存在，可以增加前两个变量间的互信息；

5、部分信息分解（Partial information decomposition），这块讨论的是，对互信息的分解：

（互信息值得是，两个变量之间的相互作用；）

        （1）、X1和X2之间是否有信息冗余？

        （2）、X1和X2是否有独一无二的信息；unique

        （3）、X1和X2一起协同的

6、信息论相关的软件包：

7、信息论应用到神经生物学的两个例子：

        （1）最左边的是物理模型，最右边的是互信息的结果；  互信息在量化刺激的强度方面，没有建树；

         （2）在两个神经元的例子中；需要考虑的是， 首先使用互信息来量化信息得传递；其次，使用转移熵，来量化突触携带信息量的转移；