18、MOABB：BCI创新模型基准测试的群虫之心

0、论文：

《MOABB: trustworthy algorithm benchmarking for BCIs》

于2018年9月25日，在《Journal of Neural Engineering》期刊发表

1、MOABB数据集

《MOABB: trustworthy algorithm benchmarking for BCIs》2018th

1、BCI基准之母建立的原因：

脑机接口搭建了人与计算机沟通的桥梁，其中对脑电信号的研究颇为活跃，但BCI领域的可重现性研究还有很长的路要走。虽然许多 BCI 数据集都是免费提供的，但研究人员并不公布代码，而且重现新算法基准所需的结果比想象中要困难得多。预处理步骤的参数、使用的工具箱和实施 "技巧 "都会对性能产生重大影响，而这些在文献中几乎从未报道过。因此，BCI 算法没有一个全面的基准，新手们需要花费大量时间浏览文献，以了解哪种算法在哪个数据集上最有效。

2、BCI基准之母建立的目的：

可在网站上对算法进行排名和推广，使人们对该领域现有的不同解决方案一目了然。

当我们在论文摘要中读到"......所提出的方法在 MOABB（Mother of All BCI Benchmarks，所有生物识别基准之母）上获得了 89% 的分数，比最先进的方法高出 5%...... "时，这个项目就成功了。

3、Github地址：https://github.com/NeuroTechX/moabb

4、指出BCI III/IV 数据的弊病：

在过去的一年半里，在BCI竞赛III和IV数据集上撰写了一千多篇期刊和会议论文。考虑到这些数据集已经公开了十多年，虽然不可能否认这两个数据集对该领域的影响，但如此严重地依赖这种少数数据集——总共不到50个被试——使该领域暴露出几个重要问题。特别是，单纯依靠该数据集发表的论文模型可能存在过度拟合。

5、指出BCI创新算法模型论文中设置的对比SOTA问题：

最棘手的问题的是，新的BCI算法开源代码稀少，这使得每个实验室都有责任开源自己的源码，以便让大众验证自己的模型能够与“最先进的”(SOTA)相媲美。因此，绝大多数新颖的BCI算法论文要么与同一实验室的其他工作进行比较，要么与旧的、易于实现的、精度在前些年能达到SOTA的模型进行比较，如CSP或通道级方差与选择的分类器相结合。

6、MOABB数据下载：https://neurotechx.github.io/moabb/datasets.html

最后本人每周不定时发送有关脑机接口尤其是算法模型方面的介绍，从科研和工程落地角度讲解BCI模型，给个关注呗~不丢失~