卷积网络在脑电图中的应用

导读

当人类思考时，我们产生脑电波，这些脑电波可以映射到实际的意图，本项目中应用卷积神经网络(ConvNets)对拼写错误和拼写正确的脑电图记录进行区分。使用深层卷神经网络结构来解码从脑电图中任务相关的信息。在脑电图解码中，相较于传统的循环神经网络（RNN），卷积神经网络不存在梯度消失等问题，并且训练所消耗的计算机资源更少，在每次记录中仅使用7.86秒进行训练，每次记录使用7.86秒进行测试。

误差相关电位数据集

脑电波是一种使用电生理指标记录大脑活动的方法，大脑在活动时，大量神经元同步发生的突触后电位经总和后形成的。它记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。在BCI-NER Challenge（https://www.kaggle.com/c/inria-bci-challenge/overview）数据集中，收集一些人的脑电波数据，他们的目标是通过视觉刺激来拼写一个单词。我们通过对脑电图的分析，检测拼写任务中的错误。

脑电数据在200赫兹下采样。实验对象的大脑活动由56个被动脑电图传感器记录，这些传感器的放置遵循可延伸的10-20系统，另外通过EOG眼电数据推导检测眼球运动。数据集一共包含16位测试者，每一位测试者进行5次拼写操作，数据集记录了每位测试者所携带传感器记录的数据。

脑电图传感器示意图

网络结构

下图为深度ConvNet架构模型图，模型通过多层卷积和池化提取脑电图中的数据特征，最后通过全连接层得到对拼写错误或正确的预测。蓝色长方体：输入图；黄色长方体：卷积/池核。相应的尺寸分别用黑色数字表示。

深度ConvNet架构模型图

第一层，输入尺寸：57×1572，也就是输入大小是57通道的7.86秒长的数据，采样频率是200Hz，直接将原始时序数据作为输入，输入是1572个样本(即对应7.86秒内采样数据。采样频率为200 Hz)。

第一层网络架构模型图

第一步：采用 16个卷积核大小为10×1的线性卷积核（无ReLU激活），对数据进行卷积，滑动步长为1×3，得到大小为1657521的特征图；第二步：采用16个卷积核大小为57×16的空间滤波器（Spatial filter）对特征图进行卷积，得到大小为16×521的特征图；第三步：使用1×3大小的最大池化层对16×521的特征图进行池化处理。

第二层网络架构模型图

上图为ConvNet架构的Block2，在Block2中，数据的输入大小为16×519；第一步：使用32个卷积核大小为16x10的卷积核对Block1中的输出进行卷积，使用ELU激活，滑动步长为1×3，卷积得到大小为32x170的特征图；第二步：使用1×3大小的最大池化层对63x50的特征图进行池化。




由于Block 3、Block 4、Block5与Block 2 结构类似，所以分析方法类似。

第三、四、五层网络架构模型图

最后利用全连接层对数据处理得到分类结果。

全连接层网络架构模型图

面临的挑战

本项目采用深度卷积网络结构，通过101轮训练，得到在训练数据集上的预测准确率达到92%，测试数据集上的准确率有62%。

模型训练图

非侵入式脑机接口是目前使用最广泛的脑电波采集方式，不进入大脑，即在头骨外检测信号。但是由于颅骨对信号的衰减作用和对神经元发生的电磁波的分散和模糊效应，记录到信号的分辨率并不高，存在很严重的高频干扰，很难确定发出信号的脑区或者相关的单个神经元的放电，同时受限于电极尺寸和分布，以及佩戴/安装时候的不准确性，难以做到高精度。此外，使用脑电图作为脑机接口，需要用户在使用之前进行大量的训练，才能更好地操作非侵入式脑机接口。

由于个人脑电波的差异化，不同人在执行相同操作时，脑电波的峰值时间、峰值电位和峰值频率均不同，单一模型很难满足不同人之间的脑电图预测，预测模型存在迁移性差的特点。