【文献阅读】2-Deep learning-based electroencephalography analysis a systematic review-2019

系列文章目录

EEG的相关文献阅读—第一篇 综述类

---

---

前言

由于最近兴起的元宇宙，对于EEG，BCI，EMG等相关的名词冒出新芽。这篇综述对于EEG应用了解是一个很好的切入点，并且也让读者了解到DL对于新型的数据处理的难点和优势。

---

一、EEG是什么？

EEG，又名脑电图，是一个复杂的信号，对活跃的大脑产生的电场的测量，是一种广泛用于临床领域内外的神经影像技术。

原理：当大脑皮层中的锥体神经元产生的微小兴奋性突触后电位相加时，EEG拾取达到头皮的几十个电位差，即AV的电位差。

1.EEG信号的特点

时间分辨率：电场的传播速度非常快，EEG通常可以捕捉到发生在毫秒级的事件。
空间分辨率：大脑产生的电场被位于脑源和传感器之间的组织(如头骨)所掩盖，脑电图通道在空间上往往是高度相关的。

2.研究目的

由于EEG信号存在以下缺点：

1. 低信噪比（存在伪影）
2. 非稳态信号（统计数据随时间变化）
3. 主体间高变异性（试体间的高差异性，能否泛化）

3.采集EEG的devices选择

设备：the Emotiv EPOC/OpenBCI/Muse devices/Neurosky devices/BioSemi Acitve Two/Brain Vision

4.EEG信号的研究应用

应用场景：epilepsy/sleep pattern/BCI【文献106】/cognitive monitorning/affective monitorning

二、为什么引入Deep learning ?

Deep learning 能够从EEG原始数据上学习到良好的特征表示。

1.与传统的processing pipeline比较

传统方法：实现特定领域的处理管道，如基于黎曼几何的分类器和自适应分类器【文献105】【文献11】【文献87】降低了EEG的灵活性和概括能力。重要步骤之一：特征工程【文献98】
为了使EEG能具备更好的泛化能力和灵活性，引入DL方法：自动特征学习【文献88】

2.DL-EEG赞同与对立面

赞同：

1. 具有网络分层的特性，特征可以在原始或者最小的层进行预处理数据，减少了对特定领域处理和特征提取管道的需求。
2. 借鉴于DL在图像，音视频等方面出现的高水平性能，DL有可能很好泛化到EEG信号处理上。
3. 针对EEG信号的规模小，获取来源少，DL有利于小规模任务，如生成模型【文献52】，迁移学习【文献129】以此来增加EEG技术的适用性。

对立：

1. EEG数据集包含的例子远远少于目前DL所需要的，且数据收集途径昂贵，还存在隐私问题
2. EEG信号相对于语音，图像等信号具有低信噪比的特殊性

三、Data

实验室数据-低成本EEG设备-受益于DL-快速收集数据
医院数据-private-未能获取

期刊推荐：Neurocomputing，Journal of Neural Engineering，Bromcedical Signal Processing and Control

1.数据集的选择(datasets)

• SEED【文献227】
• MAHNOB-HCI【文献159】
• CAPSLPDB【文献152】
• DEAP【文献81】
  

2.数据预处理(preprocessing)

步骤：下采样-带通滤波-开窗

• EEG数据一般是用1到256个电极记录的，一半的研究使用8到62个电极数量
• 以及通道数量对发作检测的特异性和敏感性的影响
• 脑电图采样率主要在100到1000赫兹之间变化(这里报告的采样率是用来记录脑电图数据的，【文献67】大约50%的研究使用了250赫兹或更低的采样率，使用的最高采样率为5000赫兹，【文献164】重新参考共同的平均值，降频到256赫兹，以及2赫兹的高通滤波
  

3.数据增强（augmentation）

数据操作：旋转，平移，裁剪，翻转
重叠窗口【文献158】【文献123】、高斯白噪声【文献76】、空间和时间特性：交换电极【文献34】【文献42】、类不平衡问题【文献152】【文献190】

4.伪影处理（artifacts）

伪影处理技术被用来去除特定类型的噪声振幅，使用去除伪影技术只有24%的文献。
振幅门限【文献114】，手动识别高变异段【文献71】，基于高振幅EOG片段的EEG闪电相关噪声【文献109】

四、Method

1.DL 框架选择

网络架构：DNN CNN【文献177】 RNN AE GAN MLP
优化器的选择：SGD/Adam/RMSprop

2.训练-验证-测试

• 预训练模型：VGG-16 ResNet-18
• 层数选择：层数不一定很大，即大于3
• 正则化【文献21】：权重衰减【文献53】，早期停止【139】，标签平滑【文献169】，dropout【文献168】
• 优化器选择:Adam【文献80】，SGD（梯度下降）【文献141】，RMSprop【文献178】，Adagrad【文献40】，Adadelta【文献214】
• 超参数搜索策略：
  网络搜索【文献18】【文献200】【文献207】【文献208】【文献101】【文献86】【文献11】【文献39】
  贝叶斯优化【文献158】【文献152】【文献163】【文献164】（80%未提及）一般调参是通过试验和错误手动完成【文献2】【文献38】【文献183】【文献132】
• 基线选择:选择一个传统的处理管道作为基线模型或者基于DL的方法进行比较
  openML平台【文献189】，MOABB框架【文献78】提供公共基线或者查找比赛平台实验数据，BrainDecode软件工具包【文献150】
• 性能指标：accuracy，sensitivity， f1-score,，ROC AUC，precision，balanced accuracy

3.实验泛化能力(reproducibility)

代码可复现性，数据可用性，代码框架可以移植

• 代码完全重现【文献149】【文献160】【文献152】【文献224】【文献222】【文献167】【文献221】【文献104】【文献161】【文献164】【文献85】
• 因为私有的dataset导致部分重现【文献225】【文献87】【文献150】【文献223】

五、不足和建议（未来趋势）

EEG processing

• 在使用DNN时，是否有必要对EEG数据进行预处理，这个问题的答案仍然难以捉摸
• 由于大多数考虑的工作没有使用或明确提到使用伪影去除方法，但确实有理想的性能增加【文献31】
• 是否有必要使用EEG特征作为DNN的输入（使用特征或原始EEG时间序列）【文献64】【文献185】【文献156】

DL method

• 鉴于脑电图固有的时间结构，我们预计RNN会比没有明确考虑到时间依赖性的模型更广泛地被采用
• 对于EEG数据，目前需要更浅的网络
• 虽然在使用神经网络时取得了良好的效果至关重要，但只有21%的论文采用了一些超参数搜索策略
• 针对临床问题，需要由合理的解释和理解来做出明智的选择，DNN网络与传统方法相比是一个黑匣子
• 尽管绝大多数研究报告了对传统管道的改进，但这一结果必须慎重对待。准确率的差异并不能说明全部问题，很少有文章报告了负面的改进
• 报告的基线比较是高度可变的
• 缺乏可重复性标准：省略交叉验证等非标准做法是得结果膨胀
• DL-EEG是高度数据驱动性的，创建新的基准数据集并分享内部录音是很重要的，但绝大多数的论文都没有提供他们的代码
  

六、成果

建立关于dl-eeg信息查询网站，定时更新，方便读者阅读，保持了时效性。
文章查找了并进行筛选后，参考了156篇文献，文献时间跨度从2010年-2018年，工作量巨大。

---

总结

第一点：通过接近两周的综述阅读，对于EEG方向趋势在2010-2018年的研究从兴起-发展-实际应用有了大致的轮廓，但对于实验框架以及算法，数据处理等方法部分还不是很清晰，这周开始准备着手于其中的一个方向点进行深究-BCI。

BCI(brain-computer interface)绕过大脑自然输出通路的通信渠道–以允许大脑活动直接转化为影响用户环境的指令

第二点：并对于如何准备文献综述写作的开始有了一个清晰的脉络：

• 首先是，关于文章来源，写文献综述需要前期大量文献的阅读
  PubMed，Google Scholar（谷歌学术），arXiv(未经同行评议的文献)，以及上述查找的部分文献的参考文献。
• 其次，查找所研究的应用领域，了解行业的研究趋势
• 数据的类别，参数使用
• 数据处理的方法
• 代码细节，框架使用（重点）
• 最后，与传统方法进行对比，说明可行性

原文：The first category covers the origin of the article, that is whether it comes from a journal, a conference publication or a preprint repository, as well as the country of the first author’s affiliation. This gives a quick overview of the types of publication included in this review and of the main actors in the field. Second, the rationale category focuses on the domains of application of the selected studies. This is valuable information to understand the extent of the research in the field, and also enables us to identify trends across and within domains in our analysis. Third, the data category includes all relevant information on the data used by the selected papers. This comprises both the origin of the data and the data collection parameters, in addition to the amount of data that was available in each study. Through this section, we aim to clarify the data requirements for using DL on EEG. Fourth, the EEG processing parameters category highlights the typical transformations required to apply DL to EEG, and covers preprocessing steps, artifact handling methodology, as well as feature extraction. Fifth, details of the DL methodology, including architecture design, training procedures and inspection methods, are reported to guide the interested reader through state-of-the-art techniques. Sixth, the reported results category reviews the results of the selected articles, as well as how they were reported, and aims to clarify how DL fares against traditional processing pipelines performance-wise. Finally, the reproducibility of the selected articles is quantified by looking at the availability of the data and code. The results of this section support the critical component of our discussion.

参考文献
【1】原文