《Using Cardio-Respiratory Signals to Recognize Emotions Elicited by Watching Music Video Clips》部分意译

最新推荐文章于 2024-09-24 09:52:21 发布

小雯w

最新推荐文章于 2024-09-24 09:52:21 发布

阅读量401

点赞数 1

分类专栏：翻译文章标签：数据分析 ieee论文

原文链接：https://ieeexplore.ieee.org/document/7813349

版权

翻译专栏收录该内容

6 篇文章 0 订阅

订阅专栏

Ⅱ. Methods

A.数据

DEAP（512Hz采样）里面的一个EMG记录里包含了ECG的信息，因为电极在心脏附近。在本研究中，为了推断出心脏节律信息，用EMG信号代替blood volume pressure信号，因为后者的24-32号被试的记录损坏了，并且质量不如EMG。 EMG在后文中作为ECG使用，即后文中的ECG均指原数据中的EMG。

在这里插入图片描述

B.特征提取

提取呼吸成分：第一步是提取ECG的呼吸振荡以及呼吸信号。

用论文【13】的方法，通过两个中值滤波器去掉了ECG的基线漂移(baseline wander)
用maxima detection method检测R峰值；
得到R-R间隔时间序列，并且一致(uniformly)用cubic spline interpolation以4Hz重采样
呼吸信号也同样以4Hz重采样
R-R间隔时间序列和呼吸信号都用巴特沃斯带通滤波器滤波，0.09Hz~1Hz，只保留呼吸相关的成分。
也会选宽于正常的呼吸频带（通常取0.15Hz~0.4Hz）用来表示5.4bpm至60bpm，这样的呼吸频率在生理上也是说得通的
用论文【14】的方法SSA（singular spectrum analysis）提取前述两种滤过波的信号的共有的成分。
– 简而言之，SSA用主成分分离了一个信号的振荡模式（lagged-covariance矩阵的特征值）
– R-R间隔序列和呼吸信号共同的呼吸特征用SSA方法如下处理：

用多通道SSA工具识别两种信号共同的振荡模式，两个lagged-covariance矩阵的联合对角化决定特征值【16】
R-R间隔序列和呼吸的振荡模式也被分别提取：
共同模式的频率差＜0.016Hz(1bpm)保留为the interest modes
每种信号分别的成分，最接近前述保留模式平均频率的提取为呼吸成分
呼吸信号的呼吸成分作为呼吸振荡；R-R间隔序列的呼吸成分作为respiratory sinus arrhythmia (RSA)
通常使用的计算RSA的滤波方法只是简单地限制带宽，本方法避免了这种情况发生并且能够提供two components with a common frequency assumed to be the respiratory frequency.

特征（13个）：

【心脏相关】

心率
R-R间隔序列的低频能量
– 如0.04Hz - 0.15Hz（Welch Spectrum对R-R间隔序列的相关频段？25s的滑动窗）
R-R间隔序列的高频能量
– 如0.15Hz - 0.4Hz（这些经典的特征携带了ANS不同branches的信息【17】）
RSA信号的能量（25s滑动窗 Welch Spectrum）
RSA瞬时频率
– 用基于FIR notch filter bank的一种估计方法估计得到【18】
RSA瞬时幅度
– Hilbert变换得到

【呼吸相关】

呼吸瞬时频率
– 用基于FIR notch filter bank的一种估计方法估计得到【18】
呼吸瞬时幅度
– Hilbert变换得到

【共同特征】

RSA与呼吸波动的幅度比
呼吸和RSA的频率差
– 尽管这个值可能很小，但是它与两种信号的相对相位差有关，因此可能是同步性的标志
呼吸和RSA的相位差
– The local maxima of the two signals were extracted and the difference between them translated to a phase difference.
相位差的斜率（slope）
– 反映两种信号的同步性【19】
相位差的标准偏差

C. 分类

三个二分类：喜欢（高/低），唤醒度（高/低），价效（积极/消极）

数据：把60s的数据分成5个12s的数据段，后文将这些分好段的数据作为新的数据。（之所以是12s长是因为这样可以涵盖最慢的呼吸5.4bpm）

在这里插入图片描述

分类器：有多层感知机核的SVM

交叉验证：留一法

Ⅲ 结果

图三：某一被试的例子，RSA和呼吸波动显示出他/她是喜欢还是不喜欢这个视频。可以看出来，喜欢和不喜欢两种状态的信号的幅度和频率差异很大。
图四：某一被试的例子，RSA和呼吸波动频率的相位差异，以及斜率差异显示出ta是喜欢还是不喜欢这个视频。可以看出来，信号的幅度和变化程度差异显著。
唤醒度和积极消极程度也有类似的效果。
在这里插入图片描述

13个特征中的每一种特征被单独运用于三种二分类。所有被试的平均CCR用于评估每种特征的效果，在三种二分类的场景下，CCR值最高的几个特征被用在最终的分类组合中。
表一：展示了所有特征的CCR值。（最高的是phase diff. slope特征）
表二：phase diff. slope特征做分类的性能矩阵。（TPR > TNR, FPR > FNR）
在这里插入图片描述

IV 讨论

很有意思的是，传统特征不是效果最好的，比如心率、R-R间隔的HF能量。

RSA幅度是最好的心率特征，比呼吸特征（如呼吸频率、呼吸幅度）的表现都要好。值得一提的是，RSA受心理行为状态的影响，如抑郁症和好斗情绪【20，21】，很可能是因为RSA的诱发受ANS机制的影响。

最好的特征是相位差的斜率，表示RSA和呼吸信号的同步性。我们推测这个特征带来了ANS的额外信息。因此，我们的结果也印证了情绪影响ANS的想法。

在辨别喜欢度、唤醒度、价效度高时的分类性能，相比低时的性能会更好。

此外，与理论和直觉相反的是，用大量的特征会降低SVM分类器的准确性。RSA和呼吸的相位差斜率能分出最好的效果，当与其他特征组合的时候，效果反而会变差。这表明没有必要为了提高准确率用很多特征，一个精心挑选的特征效果会更好。

拿我们的结果与其他用不同刺激和不同被试的研究相比较是不对的，因此我们把能和我们比较的研究限制在了【3】
针对DEAP数据集，作者用106个从外周生理信号提取的特征（14个HR相关 19个呼吸相关），用这106个特征一起用于分类得到的喜欢度，唤醒度，效价CCR值分别是0.59，0.57，0.62。这些值和EEG特征得到的值类似。
在我们这篇研究中，只用了两种信号，即ECG和呼吸信号，我们就得到了更高的值（喜欢度，唤醒度，效价CCR值分别是0.76，0.74，0.74）；

只用ECG信号，喜欢度，唤醒度，效价CCR值分别是0.74，0.71，0.72。只需要用到ECG信号的系统更可能做成低耗的可移动系统，因为只需要部署一组传感器。
需要注意的是，在本研究中的最佳心电信号，即RSA幅度信号，与被试年纪相关。【22】
DEAP的被试年龄相对集中，因此本研究中的好效果未必能推广到其他群体。

只用呼吸，喜欢度，唤醒度，效价CCR值分别是0.73，0.72，0.79，比只用ECG或者两者都用要低一些，但还是要比【3】好。

参考文献：
REFERENCES
[1] A. Konar, A. Halder, and A. Chakraborty, Introduction to Emotion Recognition. John Wiley and Sons, Inc., 2015, pp. 1–45.
[2] J. Posner, J. A. Russel, and B. S. Peterson, “The circumplex model of affect: An integrative approach to affective neuroscience, cognitive development, and psychopathology,” Dev. Psychopathol., pp. 715–734, 9 2005.
[3] S. Koelstra, C. Muhl, M. Soleymani, J.-S. Lee, A. Yazdani, T. Ebrahimi, T. Pun, A. Nijholt, and I. Patras, “DEAP: A database for emotion analysis; using physiological signals,” IEEE Trans. Affective Comput., vol. 3, no. 1, pp. 18–31, 2012.
[4] R. W. Levenson, “The autonomic nervous system and emotion,” Emotion Review, vol. 6, no. 2, pp. 100–112, apr 2014.
[5] S. D. Kreibig, “Autonomic nervous system activity in emotion: A review,” Biol. Psychol., vol. 84, no. 3, pp. 394–421, jul 2010.
[6] F. Agrafioti, D. Hatzinakos, and A. Anderson, “ECG pattern analysis for emotion detection,” IEEE Trans. Affective Comput., vol. 3, no. 1, pp. 102–115, jan 2012.
[7] G. Valenza, L. Citi, A. Lanat´a, E. P. Scilingo, and R. Barbieri, “Revealing real-time emotional responses: a personalized assessment based on heartbeat dynamics,” Scientific reports, vol. 4, 2014.
[8] A. Goshvarpour, A. Abbasi, and A. Goshvarpour, “Affective visual stimuli: Characterization of the picture sequences impacts by means of nonlinear approaches,” Basic and Clinical Neuroscience, vol. 6, no. 4, pp. 209–222, oct 2015.
[9] C.-K. Wu, P.-C. Chung, and C.-J. Wang, “Representative segment-based emotion analysis and classification with automatic respiration signal segmentation,” IEEE Trans. Affective Comput., vol. 3, no. 4, pp. 482– 495, 2012.
[10] G. Valenza, A. Lanat´a, and E. P. Scilingo, “Improving emotion recognition systems by embedding cardiorespiratory coupling,” Physiol. Meas., vol. 34, no. 4, p. 449, 2013.
[11] A. Betella, R. Zucca, R. Cetnarski, A. Greco, A. Lanat´a, D. Mazzei, A. Tognetti, X. D. Arsiwalla, P. Omedas, D. De Rossi, and P. F. M. J. Verschure, “Inference of human affective states from psychophysiological measurements extracted under ecologically valid conditions,” Frontiers in Neuroscience, vol. 8, sep 2014.
[12] B. Whitman, “How music recommendation works- and doesn’t work,” 2012. [Online]. Available: http://notes.variogr.am/
[13] F. Portet, “P wave detector with PP rhythm tracking: evaluation in different arrhythmia contexts,” Physiol. Meas., vol. 29, no. 1, p. 141, 2008.
[14] R. Vautard, P. Yiou, and M. Ghil, “Singular-spectrum analysis: A toolkit for short, noisy chaotic signals,” Physica D: Nonlinear Phenomena, vol. 58, no. 1-4, pp. 95–126, 1992.
[15] G. Plaut and R. Vautard, “Spells of low-frequency oscillations and weather regimes in the northern hemisphere,” J. Atmos. Sci., vol. 51, no. 2, pp. 210–236, 1994.
[16] J.-F. Cardoso and A. Souloumiac, “Jacobi angles for simultaneous diagonalization,” SIAM J. Matrix Anal. Appl., vol. 17, no. 1, pp. 161– 164, jan 1996.
[17] R. E. Kleiger, P. K. Stein, and J. T. Bigger, “Heart rate variability: measurement and clinical utility,” Ann. Noninvasive Electrocardiol., vol. 10, no. 1, pp. 88–101, 2005.
[18] L. Mirmohamadsadeghi and J.-M. Vesin, “Estimating the real-time respiratory rate from the ECG with a bank of notch filters,” in Computing in Cardiology Conference (CinC), Nice, France, Sep. 2015.
[19] M. Stridh, D. Husser, A. Bollmann, and L. S¨ornmo, “Waveform characterization of atrial fibrillation using phase information,” IEEE Trans. Biomed. Eng., vol. 56, no. 4, pp. 1081–1089, 2009.
[20] V. Panaite, A. C. Hindash, L. M. Bylsma, B. J. Small, K. Salomon, and J. Rottenberg, “Respiratory sinus arrhythmia reactivity to a sad film predicts depression symptom improvement and symptomatic trajectory,” Int. J. Psychophysiol., vol. 99, pp. 108–113, 2016.
[21] C. D. Aults, P. J. Cooper, R. E. Pauletti, N. A. Jones, and D. G. Perry, “Child sex and respiratory sinus arrhythmia reactivity as moderators of the relation between internalizing symptoms and aggression,” Appl. Psychophysiol. Biofeedback, vol. 40, no. 4, pp. 269–276, jul 2015.
[22] R. Sinnreich, J. D. Kark, Y. Friedlander, D. Sapoznikov, and M. H. Luria, “Five minute recordings of heart rate variability for population studies: repeatability and age-sex characteristics,” Heart, vol. 80, no. 2, pp. 156–162, 1998.