精读论文1——《Multimodal Neural Network for Rapid Serial Visual Presentation Brain Computer Interface》

《Multimodal Neural Network for Rapid Serial Visual Presentation Brain Computer Interface》这篇文章是2016年在Fronters in Computational Neuroscience上发表的。

摘要：

针对脑机接口的快速视觉呈现范式，提出了一种用于RSVP任务的多模态神经网络。

对RSVP任务分类主要是采用两种方法：线性和非线性的。计算机视觉与EEG结合的方法以前也有提出，有将eeg和图像分别进行特征提取，然后线性组合特征进行分类的；还有是采用迭代的形式，先使用eeg标记感兴趣的图像，然后使用cv对图像进行重新排序。作者是将图像和eeg进行融合构建网络。

文章的创新点：

1、相比于其他的线性算法，作者使用了非线性的方法，即神经网络。神经网络的优点之一是所有的构建块都可以链接在一起，可以在同一个目标函数上进行训练。

2、提出构建一个多模态网络，RSVP任务中有两种模态，图像和EEG

3、使用了两种模型，监督模型和半监督模型

实验方法

设计：

两名被试者，刺激物是卫星图像，目标是航空图像的建筑物；

要求被试者在一系列图像中找出有建筑物或者道路的图像。

神经网络结构：

作者在设计网络结构中考虑到三种不同形式的融合：输入级融合、决策级融合、特征层融合，输入级融合必须要考虑两种模式之间的相关性，决策级融合不需要考虑相关性但是可能会遗漏重要的信息，特征级融合既网络分别学习每个模式之间的特征，再将特征融合到最后一层中去。最后一个其实就是前两个的折中方法，因此作者选择