53、简述GCN、NIR、FMIR技术在脑机BCI的发展调查[什么？你咋也叫王富贵？]

最近在搞GCN处理EEG，调查了十几篇文献，总结了一些东西，和学生分享一下，此处只分享一些较为浅显的知识。如下：

---

GCN在其他领域的应用：

1、计算机视觉：

图卷积神经网络在计算机视觉中的应用包括图像分类、场景图、点云图和视觉推理等。

2、自然语言处理：

序列标注等单词级任务、文本分类等句子级任务

3、生物化学：

在生物化学领域,研究人员利用图卷积神经网络来研究分子化合物和蛋白质的结构与性质,把其中的原子或残基看作节点,化学键或链作为边。该领域中主要的任务包括节点分类、图分类以及图的生成。

4、推荐系统：

推荐系统是图卷积神经网络在工业界最为成熟的应用之一,因此图卷积神经网络在该领域的应用引起了极大的重视。推荐中天然地存在着图结构,如用户-产品图,推荐系统以 商 品 和 用 户 为 节点,利用商品、用户及其内容信息的关系,基于图卷积神经网络等方法进行有效推荐,其关键在于对商品的重要性打分,这可以转化为图上的链接预测任务,目标是预测用户和商品之间缺失的链接。

5、其他应用：

物 理 学[45,46]、知 识 图谱[47 49]、交通预测[50,51]、程序验证与推断[52]、金融行业反欺诈与反洗钱[53]等。

[47] SchlichtkrullM,KipfT N,Bloem P,etal.Modelingrelationaldatawithgraphconvolutionalnetworks[C]∥Procof

theEuropeanSemanticWebConference,2018:593-607.

[49] WangZ,LüQ,LanX,etal.Cross-lingualknowledgegraph alignmentviagraphconvolutionalnetworks [C]∥Procof

the2018ConferenceonEmpiricalMethodsinNaturalLanguageProcessing,2018:349-357.

---

GCN未来发展方向：

1. 架构的创新与优化： 研究者们将继续探索新的CNN架构，以提高模型的性能和效率。例如，通过神经架构搜索（NAS）自动设计的CNN架构，以及结合自注意力机制的变换器模型，都是未来可能的发展方向。

2. 轻量化与移动化： 为了适应边缘计算和移动设备的需求，研究者们正致力于开发轻量级的CNN架构，如MobileNet系列，以及采用模型压缩技术，如剪枝和量化，以减少模型的大小和计算复杂性。

3. 多任务学习与自监督学习： 通过多任务学习，CNN可以同时处理多个相关任务，提高模型的泛化能力。自监督学习则利用大量未标记的数据进行预训练，减少对标记数据的依赖。

4. 跨模态学习： CNN的发展也在向跨模态学习方向拓展，例如，结合视觉和语言的多模态学习模型，能够更全面地理解世界，为机器学习带来新的应用场景。

5. 解释性与鲁棒性：提高CNN模型的解释性和鲁棒性是未来的重要研究方向。这包括开发新的方法来解释CNN的决策过程，以及增强模型对抗性攻击的能力。

6. 联邦学习与隐私保护： 在数据隐私日益受到重视的今天，联邦学习成为了一个热门研究领域。CNN将在保护用户隐私的同时，通过分布式训练来提升模型性能

   ---

另一种脑成像技术——近红外NIR

近红外介绍：

近红外脑成像设备是一种通过检测脑内近红外光反射和散射信号的设备，用于研究脑功能和神经方面的信息。这些设备通常使用光电探测器捕获从头皮下发出的近红外光，然后利用像差成像技术将脑内活动映射成三维影像。

近红外原理:

近红外脑功能成像是一种非侵入性的脑成像技术，采用近红外光谱检测脑部的血氧水平和血流量等指标，以分析脑功能活动。这种技术的原理是近红外光能穿透头皮和颅骨，进入脑组织，并被血液中的血红蛋白和氧合血红蛋白吸收。由于氧合血红蛋白和脱氧血红蛋白对近红外光的吸收谱不同，通过测量从头皮发出的近红外光的吸收率变化，可以反映脑部不同区域的氧合程度和活跃程度。

近红外实现两个假设：

(1) 脑组织氧合程度与脑代谢活动有关

(2) 氧合血红蛋白和脱氧血红蛋白对近红外光谱的吸收不同

近红外应用：

广泛应用于研究脑功能（认知、情绪、注意力和语言等）和神经相关疾病，如注意力、记忆、学习、语言、情感、物质成瘾等方面。

近红外与脑电的异同点：

相同点：

1. 都是非侵入性方法，无需切开头部或注射放射性物质。

2. 可以监测大脑中的神经活动。

3. 提供了观察大脑活动的空间分布信息。

不同点：

1. 技术原理不同：脑电是通过检测头部皮层脑电活动来研究神经生理学和认知功能，而近红外脑功能成像是通过测量头皮下的近红外光吸收效应来研究脑功能活动。

2. 测量的参数不同：脑电记录的是神经元的电活动，近红外脑功能成像则是记录头部血氧含量。

3. 空间分辨率不同：脑电具有更高的时间分辨率，可以通过实时记录在神经元上的电信号来追踪神经活动，但在空间分辨率上相对较差。近红外脑功能成像则反之，空间分辨率相对较高，但时间分辨率较低。

4. 可以监测的区域和深度不同：脑电能够检测表面脑区的神经活动，但不能检测深部脑结构；而近红外脑功能成像可以检测到更深、更大的脑区域。

近红外数据如何分析处理：

预处理通常包括：

1. 信号去噪：使用滤波器或相关算法去除噪声，如呼吸、心跳和血压等。

2. 光通量衰减校正：通过标定和/或校准探测器的响应，校正由于头皮、头发和皮肤的散射和吸收引起的光通量衰减。

3. 相位移校正：近红外光经过人体组织后，光路程可能因为组织密度及形态变化，引起光子飞行时间或相位差的改变，需要对信号进行校正。

分析方法主要包括：

1. 时域分析：通过分析时间序列数据的波形和频率来研究脑活动。例如，使用相位同步平均法（PSD）来研究事件相关的脑活动。

2. 频域分析：频域分析可以将时间序列数据转换为能量谱，并提供有关频率上神经响应波形的详细信息。例如，使用傅里叶变换将时间域数据转换为频域数据，从而产生功率谱密度。

3. 空间分析：通过计算特定区域的多个探头之间的相互关系来研究脑区域的协同和连接性。例如，使用小波变换来分析不同脑区的协同。

NIR在BCI的应用：

1. 实现基于血氧水平的脑机接口操作。脑机接口一般需要探测一定的脑电信号，这些信号通常是脑血氧水平变化所产生的。近红外光成像技术可以实时地非侵入性地监测脑部的血氧水平变化，为脑机接口实现提供了可靠的生理学指标。

2. 通过分析近红外光成像数据，研究人脑功能的不同状态。近红外光成像技术可以帮助研究人员在检测用户行为时考虑到不同的心理影响，因此具有通过监测不同脑区的血氧水平变化来推断用户行为和目标的潜力和估值的功能。这个过程可以通过训练人工智能算法来实现，进而实现脑控制的人机交互操作。

3. 在神经康复中应用脑机接口来促进瘫痪患者的康复。近红外光成像技术在脑机接口的康复中应用广泛，可以在康复训练中通过实时监测脑部功能活动来调整康复计划和控制训练。

搜索 NIR CNN BCI相关没有

搜索 NIR GCN BCI相关没有

---

FMIR：功能性磁共振成像在BCI的使用调查：

论文：fMRI Brain Decoding and Its Applications in Brain–Computer Interface: A Survey

fMRI脑解码及其在脑机接口中的应用综述

北京科技计算机、清华大学电子工程，2022.2.7BrainSciIF/JCR = 3.3/Q2

本文讲述了：

1、基于机器学习和深度学习算法的脑活动解码模型。具体为：变分自编码器(VAE)、生成对抗网络(GAN)和图卷积网络(GCN)。

2、介绍了基于fmri的脑机接口在精神和心理疾病治疗中的应用，以说明脑解码与脑机接口之间的正相关。

3、提出了存在的挑战和未来的研究方向

知识点：

1、功能磁共振成像(fMRI)是一种新的神经影像学方法

2、原理是利用磁共振成像来测量由神经元活动引起的血流动力学变化。从神经科学和神经影像学的角度来看，功能性磁共振成像可以无创地解码大脑皮层的感知和语义信息

3、GCN可以研究大脑功能区的拓扑结构，进而预测大脑的认知状态。在有限的fMRI和标记图像数据下，基于gcn的解码模型可以提供一种自动化的工具来推导大脑的认知状态

4、目前大多数基于深度学习的脑解码研究都没有考虑人脑区域之间的功能关联和动态时间信息。对于脑解码，GCN可以考虑

假设FMRI数据有N个节点，每个节点有d维特征：

节点的特征矩阵X = N * d

节点的邻域矩阵A = N * N

按照GCN算法公式求GCN的图特征，但是GCN方法忽略了FMRI信号的细节和不同脑功能区之间的依赖关系，此后的ST-GCN模型的提出解决了上述问题

---

论文：Spatio-Temporal Graph Convolution for Resting-State fMRI Analysis

斯坦福计算机、斯坦福医学院于2020.10发表于医学图像人工智能顶刊：MICCAI

ST-GCN模型中时间图探索大脑动态时间变化、空间图探索不同脑区之间的功能连接。总结来说：

该模型使用时空图来表示脑功能连接网络

论文指出：

1、FMIR各脑区的BOLD信号（血氧水平依赖）记录了大脑的内在功能连接网络的时间信息，这些数据的自然表示是时空图

2、FMIR的各脑区内在的功能连接是空间图（这里用的是无向性功能网络）

3、在rs-fMRI分析的背景下，ST-GCN具有自动提取特征的潜力，这些特征共同表征了大脑的功能连接模式及其在BOLD系列中的时间动态。

4、ST-GCN可提取相关的边缘重要性特征，提高了模型的可解释性。

5、模型习得边缘重要性，定位了与衰老效应和性别差异相关的有意义的大脑区域和功能连接

模型参数：

T-GCN由3层ST-GC单元组成。ST-GCN的输入是表示N个BOLD信号，该信号均值=1，通道时空特征f∈N × T。每个ST-GC层产生64通道输出，时间内核大小= 11，步长为1，丢弃率为0.5。最后一个ST-GC层的输出被馈送到一个全局平均池，其长度为64的输出向量，被一个激活的完全连接层转换为类概率。

Note：

GCN每个单独的层学习一个单独的M，这通常会导致负面的、不对称的重要性矩阵、这些矩阵很难解释在各层之间的变化，本文建议强制M在各层之间保持一致，并且将其正对称，更容易可解释。