58、教授学生关于脑机模型论文的批判性学习，以FB-EEGNet为例[吾少时握剑，便知天下第一]

本次讲解的模型由重庆邮电大学计算机、自动化学院于2022年7月在Journal of Neuroscience Methods，JCR：Q3/IF：5.7（不是，这个三区的期刊影响因子好高啊）发表。

简要来说：

本模型在基于EEGNet结构的基础上，在模型最前面加入了FBCSP（空间滤波器组），对原始EEG信号进行不同频带的滤波，再输入到完整的EEGNet中提取时域频域的特征用于分类，在2个SSVEP数据上均达到SOTA水准，优于EEGNet、CCNN、CCA、FBCCA。实验结果证明FB-EEGNet可以有效提取多子带和交叉刺激目标的信息，为利用神经网络提取SSVEP的深层特征提供了一种很有前景的方法。

本博客以此论文为例，对每个章节的写作方式进行说明，这也是写脑机接口模型创新SCI文章的通用写法：

一、Introduction：

论文在本章节安排如下：

1、简明扼要的阐述了BCI的发展

2、简明扼要的阐述了BCI中SSVEP范式的发展

3、简明扼要的阐述了SSVEP模型的发展：从机器学习到卷积CNN

4、倒数第二段说明上述处理SSVEP模型的不足之处，并对此设计了本模型，表明了设计本模型的重要性、必要性、先进性、创新性、指导性、前瞻性（反正就是好、有意义，这个论文让我中了吧，Thanks！）

5、倒数第一段对后面每个章节用一句话来说明做了哪些工作

二、Method：

正如Introduction最后一段所写： In section 2, we introduce the datasets and benchmark algorithms. Then the proposed FBEEGNet model is presented in detail. 在第2节中，作者介绍了验证模型所选用的数据集和（对照）基准算法。然后详细介绍了所提出的FBEEGNet的模型结构。

2.1 Datasets

用了一个公开和一个本实验室自己采的SSVEP数据来验证本模型和对照模型，我们来看下这量数据集介绍：

数据集1 (Nakanishi et al .， 2015):

该数据集包含12个SSVEP信号的频率刺激，可从https://github.com/mnak anishi/12JFPM_SSVEP获取。参与者为10名健康个体，9名男性，1名女性，平均年龄28岁。在每次试验开始时，都有一个1秒的刺激目标线索。参与者坐在一个光线昏暗的房间里，在显示器前60厘米处有一把舒适的椅子。显示器上的目标闪烁频率为9.25 Hz、9.75 Hz、10.25 Hz、10.75 Hz、11.25 Hz、11.75 Hz、12.25 Hz、12.75 Hz、13.25 Hz、13.75 Hz、14.25 Hz和14.75 Hz。每个受试者的实验由15个模块组成。在每一个block中，会随机出现一个刺激目标闪烁，在刺激目标闪烁的过程中，被试需要专注于闪烁的刺激目标4 s，完成12个目标对应的12个实验。采用BioSemi ActiveTwo脑电系统以2048 Hz的采样率采集脑电信号。对于离线分析，信号被下采样到256hz，并通过6 - 80hz带通滤波器。由于视觉系统是延迟的，所以从[0.135,0.135 + d]s中提取有效数据，其中时间0表示刺激目标闪烁的开始，d表示脱机分析时的时间窗口长度

数据集2:

除了公共数据集，我们还收集了一个实验数据集来评估我们的模型。我们的实验数据集由10名健康成年人组成(10名女性，年龄:21-25岁，平均年龄:23岁)。10名受试者中有8名有基于ssvep的脑机接口拼写经验。使用9个目标的BCI拼写器获得数据集。刺激界面显示在一个24英寸的液晶显示器上。刺激界面由9个刺激目标组成，每个刺激目标以固定频率闪烁，每个刺激目标为150 × 150像素的正方形，每行刺激目标之间的间隔为330像素，每列刺激目标之间的间隔为120像素。监视器上的目标以9hz、9.5 Hz、10hz、10.5 Hz、11hz、11.5 Hz、12hz、12.5 Hz、13hz的频率闪烁。刺激由MATLAB (MathWorks, Inc.)提供，使用Psychophysics Toolbox Version 3，控制刺激频率的准确性。受试者被放置在距离屏幕70厘米的地方。为了减少人工制品的干扰，研究对象被要求保持身体尽可能静止，并避免眨眼。对于每个受试者，实验由六个模块组成。每个块包含15个试验，对应于随机顺序表示的所有9个字符。每个实验都以一个指示目标刺激的视觉线索开始。提示符在屏幕上显示0.5秒。在提示符被偏移后。刺激同时开始在屏幕上闪烁5秒。在刺激被取消后，下一个试验开始前，屏幕空白0.5秒，让受试者在连续的试验之间短暂休息。每次试验总共持续6秒。

脑电信号由Brain Products EEG记录分析系统采集，采样率为1000hz。根据国际10-20体系，我们在P7、P3、Pz、P4、P5、O1、Oz和O2位置放置了8个电极。脑电图信号在50 Hz下进行陷波滤波。对于离线分析，EEG信号被下采样到250 Hz，然后使用无限脉冲响应(IIR)滤波器在3 Hz和100 Hz之间进行带通滤波。由于视觉系统是延迟的，所以从[0.15,0.15 + d]s中提取有效数据，其中时间0表示刺激目标闪烁的开始，d表示脱机分析时的时间窗口长度。实验数据集可根据合理要求向通讯作者索取。

2.2 Benchmark Algorithms

本小节介绍了CCA、FBCCA、CCNN、EEGNet四个基准算法，分别对应2.2.1-2.2.4章节，最后在2.3章节介绍本文模型FB-EEGNet，本章节要重点看，细心记，你是搞SSVEP的，老板研一给你分的方向，你要知道：嗷，老子是搞BCI-SSVEP的，看相关SSVEP相关论文，Introduction是帮助你贯通理解你的研究方向发展意义的，模型方法才是启发你能否发论文的关键，当然，实验室实力雄厚，国际认可度高，也可以搞个新的SSEVEP数据集发表论文。好，我们看下本文模型的设计：

2.3 FB-EEGNet：

咱们一段一段的看哈，有哪些可以收获的信息：

1、浅绿色：我们知道，在很多对于SSEVP的数据研究中，基波和谐波分量对于其频率的识别都有很大的帮助，

2、黄色：在2020年，Wong等大神表明：实验中的多重视觉刺激可以提高目标识别的准确率

3、波浪线：基于上述，提出FB-EEGNet，该模型从基频+谐波分量中提取特征并考虑了非凝视目标对于目标检测的影响，以提高model性能。

1、浅绿色：因为EEG数据首先进入的是FBCSP，所以模型要根据FBCSP分的带通数，而划分为N个子网络，涉略广泛的同学，你这也可以理解为本模型设计了多个输入通道，是个伪孪生神经网络

2、鉴于EEGNet结构的稳定和被学术界的广泛认可，本模型主干使用EEGNet的3个block

模型结构并无太大改进，就是EEGNet前面加了个滤波器组，设计了多个输入通道（子网络），这种设计我从接触EEGNet时就已经尝试过了，但是没写论文，觉得水了些。下面这段主要是写为了模拟非凝视目标，作者讲其权重赋值为一个非零值，并举了个栗子。

滤波器组的设计：

为了提取谐波分量的信息，我们将SSVEP信号分成了几个子带，并根据2015年在公开数据集上的滤波建议，设计了9-60hz、18-60hz、27-60hz的带通滤波；并在自己实验室的数据集上滤波器组的选择为：8-50hz、16-50hz、24-50hz，使用切比雪夫对原始EEG进行带通滤波。所以我们知道，这里模型设计了三个子网络（3个输入通道，可以理解为三通道孪生模型，不用查了，三通道孪生模型处理EEG论文已经发了SCI，2022年）

本模型使用了自己的训练策略：（创新模型的训练方法也要好好学习）

1、第一阶段对3个子网络分别训好，固定参数，再把特征层连起来输出

2、第二阶段学习Dense层的参数

Adam优化器，Data1_LR=0.005，Dara2_LR = 0.003，（不是你用的啥损失啊？我看源代码才知道用的是categorical_crossentropy，你在论文倒是说啊）

模型结构图

模型图

2.4 Experiment Protocol

本章节说明实验评价方法：ACC、ITR、Kruskal-Wallis检验，后面就是模型对比结果了和总结了

其实看到这，我看此类论文看多了，就知道这论文现在缺几个东西，写的不详细，这也是作者怕露马脚的所在：

1、公开数据（搞SSVEP的都知道这个数据吧，说不说都行）和自采数据（这个尤其重要）详细的范式说明：比如channel、sample_rate、event几秒，有无基线数据等，这也是影响你模型卷积核、步长、滤波器数量的决定性因素，文章没说，有点心虚

2、Table1图参数不够详细，感觉是半成品，并且没有把FBCSP这层给加上去，只有EEGNet的结构层次

3、模型图Fig3画的太那个了，太简要了，没法看，我是审稿人就直接劝退了

4、立足点不够新，不够稳，就是EEGNet加了个FBCSP，基于谐波啥的，emmm。不说模型创新高度，只谈立足点就没说清楚。

5、但人家还是发了这个论文，有点意思。

注：本项目受到国家自然科学基金项目(62136002、61703065)、重庆市自然科学基金项目(cstc2019jcyj-cxttX0002、cstc2020jcyj-msxmX0284)、重庆市教委重点合作项目(HZ2021008)的资助。