近似熵、样本熵、模糊熵、排列熵摘抄总结

本文总结摘抄于多个网上链接，用于学习和整理用途
1、模糊熵、样本熵、近似熵都是什么？反映了什么？
2、近似熵理论相关知识与代码实现
3、样本熵理论相关知识与代码实现
4、模糊熵理论相关知识与代码实现
5、脑电信号特征提取——排列熵

熵值，说白了就是混乱度。这三个数据都是评价波形前后部分之间的混乱程度的，或者说是评价波形前后重复性的，也就是包含的子频率。熵越大，波形中各个频率越多，熵越小，波形中乱七八糟的频率越少。

1. 近似熵（1991）

定义

近似熵是一个随机复杂度，反应序列相邻的m个点所连成折线段的模式的互相近似的概率与由m+1个点所连成的折线段的模式相互近似的概率之差。

作用

用来描述复杂系统的不规则性，越是不规则的时间序列对应的近似熵越大。反应维数改变时产生的新的模式的可能性的大小。

对于eeg信号来说，由于噪声存在、和信号的微弱性、多重信号源叠加，反映出来的是混沌属性，但是同一个人在大脑活动相对平稳的情况下，其eeg近似熵应该变化不大。

算法分析

参数选择：通常选择参数m=2或m=3；通常选择r=0.2∗std，其中std表示原时间序列的标准差.

2. 互近似熵

从近似熵定义引申出来的，近似熵描述的是一段序列的自相似程度，互近似熵比较的是两段序列的复杂度接近程度；熵值越大越不相似，越小越相似；

互近似熵计算和近似熵的步骤一样，把计算X(i)和X(j)之间的距离改为计算序列a的向量X(i)和序列b的向量Y(j)的距离；相似容限r为两个原序列的0.2倍协方差；

3. 样本熵（2000）

样本熵(SampEn)是基于近似熵(ApEn)的一种用于度量时间序列复杂性的改进方法，在评估生理时间序列的复杂性和诊断病理状态等方面均有应用

算法分析

其中， ln表示自然对数， m和r由第2步定义.
参数选择：嵌入维数 m 一般取1或2；相似容限 r的选择在很大程度上取决于实际应用场景，通常选择 r = 0.1 ∗ std ∼ 0.25 ∗ std ，其中 std表示原时间序列的标准差.

近似熵与样本熵理论上的对比[2]

设 B 为维数为 m时，时间序列的自相似概率； A为维数为 k=m+1时，时间序列的自相似概率，得出 CP=A/B。近似熵的计算是以 −ln(CP)为模型，并且计算出了所有模型的平均值。为了防止出现计算 ln(0)的情况，近似熵在算法的第4步中包含了与自身向量的比较，这种方式与新信息观点是不相容的，所以一定会存在偏差。不同的是，样本熵计算的是和的对数，且不包含与自身向量的比较，所以其优势在于包含更大的A、B，以及更加准确的CP估计.
与近似熵相比，样本熵具有两个优势：样本熵的计算不依赖数据长度；样本熵具有更好的一致性，即参数m和r的变化对样本熵的影响程度是相同的.

4. 模糊熵（2007）

与近似熵（ApEn）和样本熵（SampEn）的物理意义相似，模糊熵（FuzzyEn）衡量的也是新模式产生的概率大小（Fuzzy思想，给出概率而不是定论），测度值越大，新模式产生的概率越大，即序列复杂度越大。

算法

通常情况下，较大的m能更细致地重构系统的动态演化过程。相似容限r的取值也是一个值得考虑的问题，过大的相似容限会导致信息丢失，相似容限值越大，丢失的信息越多，而太小的相似容限度则会增加结果对噪声的敏感性，一般定义r为r*SD，其中SD(Standard Deviation)为原一维时间序列的标准差[1,2]。

5. 排列熵

排列熵同样和前面提到的近似熵、样本熵以及模糊熵一样，都是用于衡量时间序列复杂程度而的指标。只不过，它在计算重构子序列之间的复杂程度时，引入了排列的思想。

算法

排列熵 Hp​ 的大小衡量信号时间序列的随机变化程度， Hp​ 的值越大，表示信号时间序列越随机，信号越复杂；反之，则说明信号序列越规则，复杂度较小。