时间序列分析time series analysis 之 entropy-based 熵值法（matlab）

目录

引言

# 1.[近似熵（Approximate entropy）及多尺度系列]

# 2.[样本熵（Sample Entropy）及其多尺度系列]

# 3.[模糊熵（Fuzzy Entropy）及其多尺度系列]

# 4.[排列熵（Permutation Entropy）及其多尺度系列]

# 5.[散布熵（Dispersion Entropy）及其多尺度系列]

# 6.[冒泡熵（Bubble Entropy）及其多尺度系列]

# 7.[增量熵（Increment Entropy）及其多尺度系列]

# 8. [分布熵（Distribution Entropy）及其多尺度系列]

# 9.[余弦相似熵（Cosine Similarity Entropy）及其多尺度系列]

# 10.[相位熵（Phase Entropy）及其多尺度系列]

# 11.[斜率熵（Slop Entropy）及其多尺度系列]

# 12. [网格分布熵（Gridded Distribution Entropy）及其多尺度系列]

# 13.[散度熵（Diversity Entropy）及其多尺度系列]

# 14.[注意熵（Attention Entropy）及其多尺度序列]

# 15.[模糊散布熵（Fuzzy Dispersion Entropy）及其多尺度系列]

声明：

---

引言

熵已成为量化时间序列复杂性的常用指标，应用于生物医学、神经科学、电气、交通、气象、能源动力、水利、海洋科学、经济、土木、计算机科学、机械、工业工程等领域时间序列分析time series analysis和特征提取feature extraction。（点击下面标题，即可获取链接）

# 1.[近似熵（Approximate entropy）及多尺度系列]

近似熵（Approximate entropy）由Pincus定义为一种规律性度量，被认为是一种有偏见的度量，代表比目前更多的相似性，因为它计算向量的自匹配。并逐步发展为几种多尺度版本：
近似熵（Approximate Entropy），
多尺度近似熵（Multiscale Approximate Entropy），
复合多尺度近似熵（composite multiscale Approximate entropy），
精细复合多尺度近似熵（refined composite multiscale Approximate entropy），
时移多尺度近似熵（time-shift multiscale Approximate entropy），
层次多尺度近似熵（Hierarchical multiscale Approximate entropy）

Pincus, and  M. S. . "Approximate entropy as a measure of system complexity. " Proceedings of the National Academy of Sciences of the United States of America 88.6(1991):2297-2301.

# 2.[样本熵（Sample Entropy）及其多尺度系列]

样本熵是近似熵的改进版本，用于消除向量自匹配带来的偏差。由于样本熵不包含自匹配，在某些情况下，通常是由于r值较小和数据长度较短，无法找到任何匹配的模板，从而导致熵值未定义。近些年，逐步发展为几种多尺度版本：
样本熵（Sample Entropy），
多尺度样本熵（Multiscale Sample Entropy），
复合多尺度样本熵（composite multiscale sample entropy），
精细复合多尺度样本熵（refined composite multiscale sample entropy），
时移多尺度样本熵（time-shift multiscale sample entropy），
层次多尺度样本熵（Hierarchical multiscale sample entropy）

J. S. Richman and J. R. Moorman, “Physiological time-series analysis using approximate entropy and sample entropy,” American Journal of Physiology-Heart and Circulatory Physiology, vol. 278, no. 6, pp. H2039–H2049, Jun. 2000, doi: 10.1152/ajpheart.2000.278.6.H2039.

# 3.[模糊熵（Fuzzy Entropy）及其多尺度系列]

模糊熵是样本熵的改进版，它使用模糊定义的指数函数来比较向量的相似性，而不是切比雪夫距离，即使在r值较小和数据长度较低的情况下也是如此。近些年，逐步发展为几种多尺度版本：
多尺度模糊熵（Multiscale Fuzzy Entropy），
复合多尺度模糊熵（composite multiscale Fuzzy entropy），
精细复合多尺度模糊熵（refined composite multiscale Fuzzy entropy），
时移多尺度模糊熵（time-shift multiscale Fuzzy entropy），
层次多尺度模糊熵（Hierarchical multiscale Fuzzy entropy）

Chen, W. , et al. "Characterization of Surface EMG Signal Based on Fuzzy Entropy." IEEE transactions on neural systems and rehabilitation engineering: a publication of the IEEE Engineering in Medicine and Biology Society 2(2007):15.

# 4.[排列熵（Permutation Entropy）及其多尺度系列]

排列熵通过量化时间序列中的序数结构和排列模式来评估时间序列的复杂性。相较于样本熵和模糊熵，排列熵计算复杂性显著降低。近些年，逐步发展为几种多尺度版本：
多尺度排列熵（Multiscale Permutation Entropy），
复合多尺度排列熵（composite multiscale Permutation entropy），
精细复合多尺度排列熵（refined composite multiscale Permutation entropy），
时移多尺度排列熵（time-shift multiscale Permutation entropy），
层次多尺度排列熵（Hierarchical multiscale Permutation entropy）

C. Bandt and B. Pompe, “Permutation Entropy: A Natural Complexity Measure for Time Series,” Phys. Rev. Lett., vol. 88, no. 17, p. 174102, Apr. 2002, doi: 10.1103/PhysRevLett.88.174102.

# 5.[散布熵（Dispersion Entropy）及其多尺度系列]点击获取

为了解决排列熵忽视幅值的问题，引入了一种新的方法，称为散布熵(Dispersion Entropy)来量化时间序列的规律性。近些年，逐步发展为几种多尺度版本：
多尺度散布熵（Multiscale Dispersion Entropy），
复合多尺度散布熵（composite multiscale Dispersion entropy），
精细复合多尺度散布熵（refined composite multiscale Dispersion entropy），
时移多尺度散布熵（time-shift multiscale Dispersion entropy），
层次多尺度散布熵（Hierarchical multiscale Dispersion entropy）

M. Rostaghi and H. Azami, “Dispersion Entropy: A Measure for Time-Series Analysis,” IEEE Signal Process. Lett., vol. 23, no. 5, pp. 610–614, May 2016, doi: 10.1109/LSP.2016.2542881.

# 6.[冒泡熵（Bubble Entropy）及其多尺度系列]点击获取

根据Manis等人的定义，气泡熵几乎是一个无参数熵。在冒泡熵中，使用冒泡排序算法对向量x[i]进行排序，并计算排序所需的交换次数。近些年，逐步发展为几种多尺度版本：
多尺度冒泡熵（Multiscale Bubble Entropy），
复合多尺度冒泡熵（composite multiscale Bubble entropy），
精细复合多尺度冒泡熵（refined composite multiscale Bubble entropy），
时移多尺度冒泡熵（time-shift multiscale Bubble entropy），
层次多尺度冒泡熵（Hierarchical multiscale Bubble entropy）

George Manis , Md Aktaruzzaman, and Roberto Sassi，“Bubble Entropy: An Entropy Almost Free of Parameters,” IEEE Trans. Biomed. Eng., vol. 64, no. 11, pp. 2711–2718, Nov. 2017, doi: 10.1109/TBME.2017.2664105.

# 7.[增量熵（Increment Entropy）及其多尺度系列]点击获取

一种测量时间序列复杂性的新方法，称为增量熵(increment entropy)。我们关注信号的增量，因为它们表明了隐藏在信号中的动态变化的特征。基本思想是将每个增量映射到长度为两个字母的单词中。近些年，逐步发展为几种多尺度版本：
多尺度增量熵（Multiscale Increment Entropy），
复合多尺度增量熵（composite multiscale Increment entropy），
精细复合多尺度增量熵（refined composite multiscale Increment entropy），
时移多尺度增量熵（time-shift multiscale Increment entropy），
层次多尺度增量熵（Hierarchical multiscale Increment entropy）

X. Liu, A. Jiang, N. Xu, and J. Xue, “Increment Entropy as a Measure of Complexity for Time Series,” Entropy, vol. 18, no. 1, p. 22, Jan. 2016, doi: 10.3390/e18010022.

# 8. [分布熵（Distribution Entropy）及其多尺度系列]点击获取

 为了提高短期区间序列复杂性评估的鲁棒性，提出了一种新的度量-分布熵(Distribution Entropy)方法。分布熵通过概率密度估计充分利用了状态空间中向量到向量距离的固有信息。近些年，逐步发展为几种多尺度版本：
多尺度分布熵（Multiscale Distribution Entropy），
复合多尺度分布熵（composite multiscale Distribution entropy），
精细复合多尺度分布熵（refined composite multiscale Distribution entropy），
时移多尺度分布熵（time-shift multiscale Distribution entropy），
层次多尺度分布熵（Hierarchical multiscale Distribution entropy）

P. Li, C. Liu, K. Li, D. Zheng, C. Liu, and Y. Hou, “Assessing the complexity of short-term heartbeat interval series by distribution entropy,” Med Biol Eng Comput, vol. 53, no. 1, pp. 77–87, Jan. 2015, doi: 10.1007/s11517-014-1216-0.

# 9.[余弦相似熵（Cosine Similarity Entropy）及其多尺度系列]

提出了一类新的基于嵌入向量相似度的熵估计器，余弦相似熵（Cosine Similarity Entropy）。与样本熵不同，余弦相似熵在广泛的嵌入维度范围内显示出有效的熵值。近些年，逐步发展为几种多尺度版本：
多尺度余弦相似熵（Multiscale Cosine Similarity Entropy），
复合多尺度余弦相似熵（composite multiscale Cosine Similarity entropy），
精细复合多尺度余弦相似熵（refined composite multiscale Cosine Similarity entropy），
时移多尺度余弦相似熵（time-shift multiscale Cosine Similarity entropy），
层次多尺度余弦相似熵（Hierarchical multiscale Cosine Similarity entropy）

T. Chanwimalueang and D. Mandic, “Cosine Similarity Entropy: Self-Correlation-Based Complexity Analysis of Dynamical Systems,” Entropy, vol. 19, no. 12, p. 652, Nov. 2017, doi: 10.3390/e19120652.

# 10.[相位熵（Phase Entropy）及其多尺度系列]

大多数熵的定义估计可压缩性的程度，从而量化随机性。由于各系统和子系统之间的非线性关系和相互作用，时间序列是非常复杂的。因此，对随机性的分析可能不足以描述这种复杂性。为了分析序列的复杂性，提出了一种新的熵方法——相位熵(Phase Entropy)作为二维相空间的量化方法。近些年，逐步发展为几种多尺度版本：
多尺度相位熵（Multiscale Phase Entropy），
复合多尺度相位熵（composite multiscale Phase entropy），
精细复合多尺度相位熵（refined composite multiscale Phase entropy），
时移多尺度相位熵（time-shift multiscale Phase entropy），
层次多尺度相位熵（Hierarchical multiscale Phase entropy）

A. Rohila and A. Sharma, “Phase entropy: a new complexity measure for heart rate variability,” Physiol. Meas., vol. 40, no. 10, p. 105006, Nov. 2019, doi: 10.1088/1361-6579/ab499e.

# 11.[斜率熵（Slop Entropy）及其多尺度系列]

排列熵(PE)是时间序列的复杂度估计器，它有很多优点，缺点很少。其中一个缺点是PE忽略了时间序列振幅信息。为了将这些信息引入到计算中，提出了一些PE算法的修改。提出了一种新的方法，斜率熵(Slop Entropy)，它也解决了这一缺陷，但以不同的方式，使用一种基于两个连续数据样本生成的斜率的新颖编码方法来保持子序列的符号表示。近些年，逐步发展为几种多尺度版本：
多尺度斜率熵（Multiscale Slop Entropy），
复合多尺度斜率熵（composite multiscale Slop entropy），
精细复合多尺度斜率熵（refined composite multiscale Slop entropy），
时移多尺度斜率熵（time-shift multiscale Slop entropy），
层次多尺度斜率熵（Hierarchical multiscale Slop entropy）

D. Cuesta-Frau, “Slope Entropy: A New Time Series Complexity Estimator Based on Both Symbolic Patterns and Amplitude Information,” Entropy, vol. 21, no. 12, p. 1167, Nov. 2019, doi: 10.3390/e21121167.

# 12. [网格分布熵（Gridded Distribution Entropy）及其多尺度系列]

庞加莱图是一种回归图，它从几何上阐明了时间序列的演化。在此基础上，提出了网格分布熵，用以时间序列的定量分析，可以作为特征参量表征复杂时间序列的特性。在交通、机械设备、电力、水利、天气等复杂时间序列的分析种，具有很大应用前景。近些年，逐步发展为几种多尺度版本：
多尺度网格分布熵（Multiscale Gridded Distribution Entropy），
复合多尺度网格分布熵（composite multiscale Gridded Distribution entropy），
精细复合多尺度网格分布熵（refined composite multiscale Gridded Distribution entropy），
时移多尺度网格分布熵（time-shift multiscale Gridded Distribution entropy），
层次多尺度网格分布熵（Hierarchical multiscale Gridded Distribution entropy）

C. Yan, P. Li, C. Liu, X. Wang, C. Yin, and L. Yao, “Novel gridded descriptors of poincaré plot for analyzing heartbeat interval time-series,” Computers in Biology and Medicine, vol. 109, pp. 280–289, Jun. 2019, doi: 10.1016/j.compbiomed.2019.04.015.

# 13.[散度熵（Diversity Entropy）及其多尺度系列]

提出了一种新的熵方法——散度熵（Diversity Entropy）来量化动态复杂性。散度熵利用相邻轨道之间的余弦相似度分布来跟踪内部模式的变化，从而提高了复杂度估计的性能。近些年，逐步发展为几种多尺度版本：
多尺度散度熵（Multiscale Diversity Entropy），
复合多尺度散度熵（composite multiscale Diversity entropy），
精细复合多尺度散度熵（refined composite multiscale Diversity entropy），
时移多尺度散度熵（time-shift multiscale Diversity entropy），
层次多尺度散度熵（Hierarchical multiscale Diversity entropy）

X. Wang, S. Si, and Y. Li, “Multiscale Diversity Entropy: A Novel Dynamical Measure for Fault Diagnosis of Rotating Machinery,” IEEE Trans. Ind. Inf., vol. 17, no. 8, pp. 5419–5429, Aug. 2021, doi: 10.1109/TII.2020.3022369.

# 14.[注意熵（Attention Entropy）及其多尺度序列]

传统的熵方法关注的是一个时间序列中所有观测值的频率分布。这需要一个相对较长的时间序列，至少有几千个数据点，这限制了它们在实际应用中的使用。这些方法对参数设置也很敏感。提出了一种概念上的新方法，称为注意熵（Attention Entropy），它只关注关键的观察结果。它不是计算所有观测值的频率，而是分析时间序列中关键观测值之间的间隔的频率分布。注意熵的优点是它不需要任何参数来调整。近些年，逐步发展为几种多尺度版本：
多尺度注意熵（Multiscale Attention Entropy），
复合多尺度注意熵（composite multiscale Attention entropy），
精细复合多尺度注意熵（refined composite multiscale Attention entropy），
时移多尺度注意熵（time-shift multiscale Attention entropy），
层次多尺度注意熵（Hierarchical multiscale Attention entropy）

J. Yang, G. I. Choudhary, S. Rahardja, and P. Franti, “Classification of Interbeat Interval Time-series Using Attention Entropy,” IEEE Trans. Affective Comput., pp. 1–1, 2021, doi: 10.1109/TAFFC.2020.3031004.

# 15.[模糊散布熵（Fuzzy Dispersion Entropy）及其多尺度系列]

散布熵对其参数非常敏感，尤其是类的数量(量化水平)。
此外，在某些情况下，由于噪声引起的信号幅度的微小变化会改变量化序列，从而改变熵值。为了解决这些限制，在信号量化的模糊隶属函数的基础上开发了模糊散布熵（Fuzzy Dispersion Entropy）。近些年，逐步发展为几种多尺度版本：
多尺度模糊散布熵（Multiscale Fuzzy Dispersion Entropy），
复合多尺度模糊散布熵（composite multiscale Fuzzy Dispersion entropy），
精细复合多尺度模糊散布熵（refined composite multiscale Fuzzy Dispersion entropy），
时移多尺度模糊散布熵（time-shift multiscale Fuzzy Dispersion entropy），
层次多尺度模糊散布熵（Hierarchical multiscale Fuzzy Dispersion entropy）

M. Rostaghi, M. M. Khatibi, M. R. Ashory, and H. Azami, “Fuzzy Dispersion Entropy: A Nonlinear Measure for Signal Analysis,” IEEE Trans. Fuzzy Syst., vol. 30, no. 9, pp. 3785–3796, Sep. 2022, doi: 10.1109/TFUZZ.2021.3128957.

声明：

文中会有一些内容引自网络，难免有未尽之处，如有不妥，请随时联系删改。