综述 | 深度学习在fNIRS中的应用

导读

意义：光学神经影像学已成为一种成熟的临床和研究工具，用于监测大脑皮层的激活。值得注意的是，功能性近红外光谱(fNIRS)研究的结果在很大程度上取决于所采用的数据处理流程和分类模型。最近，深度学习(DL)方法在许多生物医学领域的数据处理和分类任务中表现出快速和准确的性能。

目的：本文旨在回顾新兴的深度学习(DL)在fNIRS研究中的应用。

方法：本文将首先介绍一些常用的深度学习技术。然后，总结了当前深度学习在脑机接口、神经损伤诊断和神经科学发现等领域的研究进展。

结果：在本综述考虑的63篇论文中，32篇报告了DL技术与传统机器学习技术的比较研究，其中26篇报告了DL在分类精度方面表现优于传统机器学习。此外，有8篇研究利用深度学习来减少通常使用fNIRS数据进行的预处理量，或通过数据增强来增加数据量。

结论：DL技术在fNIRS研究中的应用已表明可以减轻fNIRS研究中存在的许多障碍，例如冗长的数据预处理或小样本量，同时能够实现相当或改进的分类精度。

前言

在过去的二十年里，功能性近红外光谱(fNIRS)已成为一种监测大脑活动的成熟的神经成像模式。fNIRS能够在较长时间内量化皮质组织血流动力学，具有相对高的空间采样和时间分辨率，使其能够在许多临床环境中被广泛采用。fNIRS具有独特的优势，可用于自由移动的受试者，其限制比脑电图(EEG)或功能性磁共振成像(fMRI)少。这允许我们在自然场景和通常被认为不适合EEG或fMRI成像的患者群体中运用fNIRS。但由于实验设置、统计结果的变化等原因，fNIRS在临床应用方面仍面临着诸多挑战。重要的是，fNIRS的当前趋势旨在通过增加空间采样来提高空间分辨率，通过数据处理去除不必要的生理噪声来提高皮层敏感度，通过解剖配准改善量化，并通过伪影识别和去除来提高鲁棒性。然而，当前的算法实现需要高水平的专业知识来设置参数，这些参数可以是特定于系统或应用程序的，但也会极大地影响处理数据的可解释性。此外，这些方法的计算成本并不适合床边实施。随着数据处理和分析领域的普遍趋势，最近提出了利用深度学习(DL)发展的新方法，在很大程度上有助于克服这些情况。

DL方法在所有生物医学工程领域的成功为开发出具有强大性能、用户友好和实时能力的专用数据驱动、无模型数据处理工具提供了希望。DL方法越来越多地用于生物医学成像领域，包括生物医学光学和神经成像方式，如fMRI、脑磁图(MEG)和EEG。遵循这一趋势，DL方法最近也被用于fNIRS应用。在这篇综述中，作者总结了这些当前研究。本文首先介绍了DL的基本概念，包括训练和设计注意事项。其次，本文提供了DL模型在不同fNIRS研究中的应用总结，包括脑机接口（BCI）、临床诊断和皮层活动分析。

深度学习方法论

DL可以看作是参数化机器学习技术的黑盒版本。传统的机器学习技术可能会对原始数据分布做出几个假设。最值得注意的是，通过对输入数据进行适当的转换，可以将数据映射到不同的类别（分类数据）或回归线（连续数据）。在参数化方法中，利用权重将多维输入数据约简到可分离的空间中。这些权重是通过最小化目标函数来学习的，试图减少分数预测的误差。通过在输入和输出空间之间引入隐藏层，有人认为可以学习一些抽象概念以帮助更好地进行区分。这些模型被称为人工神经网络(ANNs)。

受生物神经元的启发，ANNs通过在节点或“神经元”上执行简单的非线性操作，生成输入训练数据(x)和输出数据(y)之间的映射，形成一个计算图。更新图边缘的权值(Θ)，即通过最小化损失函数

来进行训练，该函数测量了模型输出

和真实输出(y)之间的差异。使用梯度下降的反向传播算法中的微分链规则有效地完成网络训练。图中每一层的节点数定义了网络的宽度，而层数定义了其深度。

深度网络是具有足够深度的网络，尽管对于该网络的深度如何才能被视为是“深度神经网络”(DNN)尚未达成共识。整个网络可以看作是一个可微函数，它使用多层函数组合来学习输入和输出之间的关系，初始层学习输入的低级特征，而更深层则提取更高层次的特征。高性能计算的出现和大规模数据的可用性正在推动当前深度学习的快速发展。

深度学习架构

DL从可用的单元/节点操作中获得其多功能性。这些操作包括受其他特定领域工具启发的线性变换、过滤器和门(gates)，这些工具计算隐藏层中的抽象特征。通常，这些操作的选择决定了网络的应用。fNIRS研究中最常用的三种网络类型如图1所示。

图1.上图显示了综述文章中三种最常见的网络架构。

多层感知器(MLPs)等密集网络使用线性变换作为单元操作，是ANNs的同义词。卷积神经网络(CNNs)使用卷积进行运算，其中使用固定大小的滤波器对输入图像或特征图进行卷积。一般来说，它们对数字、物体和图像的识别能力很强。类似地，长-短时记忆网络(LSTM)可以在时域中展开以学习时间序列数据。LSTM单元使用门来维持单元状态记忆。适当的数据以连续的时间步长通过单元，避免了长时间序列数据的梯度消失问题。

神经网络的一个基本属性是使用所谓的“激活函数”引入非线性——基于生物神经元放电的概念。表1列出了最常见的激活函数类型。sigmoid函数压缩0和1范围内的值，激活较大的正值，同时将较大的负值清零。sigmoid函数也可以用于二元分类器的输出，例如，Mirbagheri等人(2019)和Tanveer等人(2019)。Dolmans等人(2021)使用sigmoid输出进行七类分类，尽管softmax激活被广泛用于多类分类。softmax激活使用取幂和归一化来为输出分配概率。输出层更高的softmax输出可以解释为对预测的置信度。

表1.每个激活函数输入x的激活输出如下表所示，以及显示了激活值的范围。

深度学习中的实际考虑

（1）训练深度网络

在确定了适合该问题的功能和架构之后，重要的是要了解帮助网络学习输入-输出映射所涉及的基本考虑因素。标准化或缩放输入以将参数保持在可处理的范围内是很常见的。两种常见的方法包括最小最大缩放，其中数据在0和1之间缩放，以及标准化，其中数据缩放到均值和单位方差为零。如果输入数据范围不大，一些网络在没有归一化的情况下也能很好地学习，但建议进行缩放以帮助收敛。权重初始化也有助于收敛。技术包括He和Glorot初始化，其中权重是从具有预定义统计矩的正态或均匀分布中随机抽取的。此外，通常在层与层之间引入dropout以随机关闭一定比例的节点，从而使网络不会过拟合训练数据。

如果深度太大，反向传播期间的梯度更新可能会激增或消失，ReLU和LSTM单元的开发主要是为了克服这个问题。此外，深层之间的跳跃式连接有助于反向传播梯度，避免梯度消失。另一方面，已经提出梯度裁剪和使用SELU激活函数来解决梯度激增问题。

深度网络有多个超参数，这些超参数在训练期间不是主动学习或更新的，而是基于文献或使用系统搜索过程设置的。通过计算一批样本的平均梯度，权重从输出层依次向后更新。这个批量大小是一个超参数，通常设置为32，但它取决于架构和硬件能力。较大的批量大小需要对单次迭代进行更多的计算和存储，而较小的批量大小意味着收敛速度较慢，例如，Fernandez Rojas等人在每次更新中使用64个批次，而Wickramaratne和Mahmud使用8个批次的大小。控制收敛速度的另一个关键超参数是学习率，它与梯度下降算法中的损失梯度相乘。学习率通常在开始时设置为10−2，可以进一步减小以进行微调。例如，Ortega和Faisal使用0.03的初始学习率，在每个时期后以0.9的因子衰减。一个epoch是数据集中所有非重叠批次都已用于进行训练的点。epoch的数量也是另一个超参数，严格取决于网络开始收敛的时间。最常见的梯度下降优化算法是Adam，它使用由动量辅助的自适应学习率，帮助网络参数有效收敛。在fNIRS应用中使用的其他算法有SGD和RMSprop。

训练DNNs的一个众所周知的问题是每一层输入分布的变化，这需要仔细地初始化权重、学习率计划和dropout。Ioffe和Szegedy引入了一种称为批量归一化的技术，该技术有助于缓解“内部协方差偏移”的问题。批量归一化将原始研究中的训练步骤减少了14倍，同时对初始化和学习率的要求也不那么严格。因此，在CNN的批量训练期间，通常建议在每次卷积之后使用批量归一化层。

大多数生物医学应用的被试数量和训练数据有限（表2总结了有关数据集的特征，包括被试数量、通道数量和所有研究检测的皮层区域）。因此，必须采取适当的措施来避免使用具有小数据集的大型网络，以防止过拟合。该网络减少了训练误差，但失去了泛化到其他数据集的能力。为了缓解这种情况，最好从最简单的网络开始，使用更少的权重，并通过添加层/节点的数量来迭代地改进网络。此外，可以通过正则化权重和添加dropout层等方法来避免过拟合。

表2.对每篇论文中收集的数据进行描述。

由于fNIRS数据是连续的时间序列数据，因此获得数据段（例如静息态）可以使用滑动窗口方法进行分析。这里，以固定间隔提取固定长度的数据段，允许后续窗口之间重叠。如果必须分析整个试次持续时间，则此方法不适用，因为在这种情况下，每个试次都必须是单个样本。

（2）模型评估

尽管有各种建模工具可用于分析心理和行为科学中收集到的数据，但也有越来越多的研究者担心使用研究中报告结果的可重复性。尽管直接复制甚至概念复制在许多涉及人类神经成像的研究中不可能实现，但现在的研究依赖于模拟复制作为次佳方法。这需要将数据划分为多个子集，并在使用其余数据进行训练后评估每个子集上的模型性能。对n个子集（也称为测试集）的性能指标进行平均以获得平均性能指标，该指标代表了对任何看不见的数据子集的预期模型性能。

选择的子集类型取决于实验设置、研究问题或数据集的限制。所选择的子集可以是随机的试次子集、一个单个试次，或者每个被试的试次。这些交叉验证(CV)方案称为K-折CV，leave-one-user-out(LOUO)CV和leave-one-subject-out(LOSO)CV。Leave-one-supertrial-out是另一种有效的严格CV技术。许多综述论文执行了10折CV，而少数执行LOSO CV。用于评估的最常用指标是精度、特异性和敏感性。

（3）深度网络的输入

经过预处理步骤之后，得到氧合(ΔHbO)和脱氧(ΔHbR)血红蛋白，及其总体变化(ΔHbT)的时间序列。然后根据任务设置对数据样本进行分割。对于基于任务的实验，数据被分段为试次，对于静息态数据或长试次，使用如前所述的滑动窗口法对数据进行分段。

许多研究选择浓度变化的离散概率分布，并提取均值、斜率、方差、偏度、峰度、最大值和范围等统计特征。在其他情况下，网络被允许学习和提取特征本身，数据以空间地图或时间序列的形式提供。在一些研究中，数据片段被转换为其他形式，例如格拉姆角场(GAF)或频谱图。图2总结了研究中采用的样本提取程序。

图2.提取用于训练神经网络(NNs)的样本。N，Ns表示样本数；T，Tw表示时间点的数量；nch代表通道数；h，w表示空间地图图像的高度和宽度；nstat表示统计矩/特征的数量。

深度学习在fNIRS中的应用

近年来，DL技术在fNIRS研究中的应用越来越多。虽然一些使用DL的研究将其用于特征提取或数据增强，但在大多数研究中，DL被用作分类器。因此，将DL用作分类器的那些研究，根据其在fNIRS中的应用进行进一步的类别细分。表3是应用程序和DL架构的全面总结。目前，许多研究使用DL分类器对BCI应用中的任务进行分类。其他研究使用DL技术作为诊断工具，以检测基于皮层活动的各种生理和心理病理。最后，一些研究，例如那些使用DL技术来评估技能水平和功能连接的研究相对较少，因而无法归为各自的类；但这些研究都使用了DL技术分析皮层活动，因此被归为皮层分析组。图3显示了在给定年份中每种类别研究的数量。

表3.每篇论文的应用和主要结果。

 

图3.本文纳入分析的63篇论文按年份分布，并且每种研究类别使用不同的颜色编码。

预处理

与大多数非侵入性神经成像模式一样，原始fNIRS信号通常包含混杂的生理信号和其他源自大脑皮层外部的噪声，例如头皮的血流动力学以及血压和心率的变化。大多数研究使用一些预处理方法来尝试解决这个问题。虽然这里介绍的许多研究都使用带通滤波或巴特沃斯滤波，但回顾整个文献会发现，这些研究中使用到的方法是多种多样的。独立成分分析(ICA)去噪、小波滤波和基于相关的信号改进滤波都是用于去除fNIRS信号中一些不良生理趋势的方法。另一种推荐的方法是短距回归，该方法将仅具有混杂生理信号的信号与fNIRS信号同时收集，并将这些信号的趋势从fNIRS数据中删除。其他算法，例如Savitsky–Golay滤波和时间导数分布修复是用于校正fNIRS信号中的运动伪影和基线漂移的方法。其中许多技术用于fNIRS研究以提高信号质量，并确保被评估的信号来自大脑。其他推荐的技术包括对数据进行预白化处理或通过PCA去相关，以在分析之前消除fNIRS信号之间的任何相关性，进一步促进对感兴趣区域信号的分析。

特征提取和数据增强

fNIRS数据最显著的问题之一是要分析的数据通常需要大量的手动特征提取和伪影去除，这使得许多fNIRS研究数据无法实时应用。因此，许多研究人员正在探索更有效的fNIRS数据预处理方法。DL方法的好处之一是能够快速自动地学习和提取fNIRS数据中的相关特征。例如Tanveer等人(2019)报告了使用DNN提取特征，并这些特征输入K-近邻(KNN)分类器，以检测虚拟驾驶任务期间被试的困倦程度。使用从DNN中提取的特征，KNN能够达到83.3%的分类精度。尽管特征提取通常计算成本很高，即使使用强大的GPU也需要数小时，但DNN在10s的时间窗口中平均计算时间为0.024s，这一速度可以让NVidia 1060 GTX GPU在5s内完成30min信号的特征提取。除了计算速度外，DL自动学习和提取特征的能力可以减少特征提取过程中的偏差和错误，从而提高分类精度。

虽然有研究对使用DL提取特征以输入到另一个分类器感兴趣，但也有一些研究采用原始fNIRS数据并使用相同的神经网络进行特征提取和分类。尽管端到端神经网络被认为是比手动特征提取更理想的解决方案，但由于泛化性较低使其不太常用。Dargazany等人(2019)使用具有原始EEG、身体运动和fNIRS数据的MLP（有两个隐藏层），在四类运动任务中实现了78%到80%的分类精度，尽管在没有对数据进行去噪或预处理的情况下。Fernandez Rojas等人(2020)使用原始fNIRS数据作为LSTM网络的输入，实现了90.6%的分类精度。采用10折CV进行泛化评估，分类器的精度达到了93.1%。这两项研究都为DL技术能够省去从fNIRS数据中手动提取特征的需要提供了证据，从而进一步向实时端到端BCI的发展。尽管上述研究能够在没有去噪或去除运动伪影的情况下实现高精度，而且一些研究是在被试头动时进行的。在此类研究中，fNIRS数据可能会受到原始数据中的特定伪影的严重影响，这些伪影可能会导致任何分类任务产生偏差。虽然使用了许多算法来试图去除运动伪影，但Lee等人(2018)试图使用CNN来识别和去除运动伪影，而不依赖于必须定义的参数(这些参数必须使用许多流行的运动伪影去除算法)。在本研究中，原始的fNIRS时间序列和估计的典型响应作为网络的输入，得到DL输出的CNR为0.63，优于小波去噪，平均CNR为0.36。通过DAE模型和图4所示的过程，模拟数据中93%的运动伪影去除和真实数据中100%的伪影去除，优于所有可比较的伪影去除技术，包括小波滤波和主成分分析。另一项使用DL去除运动伪影的研究中，Kim等人(2022)比较了CNN与小波去噪和自回归去噪方法的性能，结果发现CNN的均方误差(MSE)为~0.004到0.005，而小波和自回归去噪相结合，得到的MSE为~0.009。尽管这些研究都使用不同的指标来衡量网络的有效性，但显然研究者们对寻找到一种有效的方法来去除fNIRS数据中的运动伪影很感兴趣。

图4.显示了fNIRS数据模拟过程和设计的DAE模型。(a)绿线是实验fNIRS数据，包括噪声HRF和静息态fNIRS数据，蓝线和红线是模拟数据。(b)DAE模型：DAE模型的输入数据为模拟的有噪声的HRF，输出为相应的无噪声HRF。DAE模型包含九个卷积层，前四层是最大池化层，后四层是升采样层，在输出之前有一个卷积层。参数被标记在每个卷积层的括号中，按照内核大小、步幅、输入通道大小和内核数的顺序。(c)和(d)分别为模拟数据集和实验数据集的运动伪影残差数目。

很明显，DL技术已经显示出处理和提取fNIRS数据特征的能力，但由于缺乏大量的开源fNIRS数据集，最近人们对使用DL生成更多fNIRS数据用于训练模型产生了兴趣。数据增强是一种生成新数据的技术，以减少机器学习和DL算法对大量标记数据集的需求。这个生成的数据不能与任何训练数据相同，但也必须是真实的，即它必须保持在原始数据集的分布范围内。虽然这具有挑战性，但一些深度学习技术，如生成对抗网络(GAN)，现已被用于实现这一目标。Wickramaratne和Mahmud使用GAN来增强他们的fNIRS数据集，以提高手指和脚敲击任务的分类精度。在没有增强数据的情况下，使用SVM分类器的分类准确率为70.4%，而CNN分类器在仅对真实数据进行训练时达到了80%的准确率。使用GAN生成训练数据，CNN分类器在真实数据上训练的准确率高达96.67%，而在生成数据上训练时的准确率高达110%。同样，Woo等人(2020)使用GAN生成激活t-maps，当用于增强CNN的训练数据集时，将手指敲击任务的分类精度从92%提高到97%，表明一个已经表现良好的网络可能会受益于数据增强。虽然之前的研究使用GAN来生成fNIRS数据的图像表示，但只有一项研究直接使用GAN用原始时间序列fNIRS数据增强数据集。Nagasawa等人(2020)使用GAN生成fNIRS时间序列数据，以提高运动任务的分类精度，如图5所示。他们报告说，当用100个生成的数据集来增强16个原始数据集时，SVM分类器的准确率从大约0.4提高到0.733，而神经网络分类器的准确率从大约0.4提高到0.746。虽然fNIRS研究仍是一个相对较新的发展领域，但使用GANS生成的数据集已证明能够提高常用分类器（如CNN或SVM分类器）的分类精度，再次证明了DL技术在fNIRS研究中的通用性。

 

图5.GAN框架和数据增强。红线和蓝线分别表示实测的原始数据和使用WGANs生成的数据。

脑机接口(BCI)

BCI是fNIRS研究中最有前景的应用之一。许多关于BCI的研究使用传统的机器学习或DL技术来识别基于皮层激活的特定任务。Hennrich等人(2015)使用DNN对被试进行心算、单词生成、物体的心理旋转和放松时进行分类，两个隐藏层的DNN的准确率为64.1%，这与收缩LDA的65.7%的准确率相当，尽管LDA使用了自定义特征，而DNN的输入是去噪和归一化的fNIRS数据。Kwon和Im(2021)对其CNN使用了类似的输入，对ΔHbR和ΔHbO2数据进行了去噪和基线校正。该CNN实现了71.20%的分类精度，超过了使用特征向量作为输入的收缩LDA分类器的65.74%的准确率。Wickramaratne和Mahmud(2021)还使用CNN对心算和注视任进行了分类。与Kwon和Im一样，使用具有特征向量的收缩LDA作为输入。然而，与之前的研究不同，CNN的输入是格拉姆角求和场(GASF)，这是一种由时间序列数据构建的图像，它保持了点之间的时间相关性。在此CNN和GASF输入下，分类精度达到了87.14%，再次超过了收缩LDA的66.08%的精度。同样，Ho等人(2019)也使用fNIRS数据的二维(2D)表征来试图区分不同水平的心理负荷。研究结果发现，使用带有fNIRS数据生成的频谱图的CNN，实现了82.77%的分类精度。然而深度信念网络(DBN)的表现要优于此，这是一种类似MLP的网络。深度信念网络，对HbR和HbO2信号进行手动提取特征，准确率可达84.26%。在一项类似的心理负荷任务中，Asgher等人(2020)发现，使用从HbR和HbO2时间信号中提取相似特征的LSTM，心理负荷的分类精度为89.31%。虽然许多研究将DL技术的性能与传统机器学习或其他算法的性能进行了比较，但Naseer等人(2016)将MLP的分类精度与kNN、朴素贝叶斯、SVM、线性判别分析(LDA)和QDA算法的分类精度进行了比较。在这两类心理负荷任务中，MLP达到了96%的分类精度，而QDA、朴素贝叶斯和SVM分类器的分类精度都达到了95%左右，但LDA和kNN算法的精度则更低，分别为80%和65%。本研究中的所有分类器都使用手动提取的fNIRS的偏度和峰度等特征作为算法的输入。Hakimi等人(2020)还使用从fNIRS时间序列中手动提取的特征对压力和放松状态进行了两类分类，使用CNN时的分类精度达到了98.69%，这进一步强化了DL可以为心理负荷任务提供非常高的分类精度。

在BCI研究中，比较流行的实验类型包括让被试执行某项运动任务。Trakoolwilaiwan等人(2017)使用CNN同时作为特征提取器和分类器，在三种测试任务(左手、右手和双手的手指敲击)中能够达到92.68%的准确率。在BCI fNIRS研究常用的提取特征输入（信号均值、方差、峰度、偏度、峰值和斜率）条件下，CNN分类器的准确率分别为86.19%和89.35%，优于SVM和ANN分类器。由于许多BCI应用都涉及到帮助那些缺乏运动能力的人，因此一些研究并不关注运动的皮层激活，而是关注运动想象的皮层激活。Erdogan等人(2019)的一项研究同样使用MLP对运动想象与运动执行之间进行了分类，当使用从fNIRS数据中手动提取的特征时，手指敲击任务和休息间的分类精度为96.3%，手指敲击和想象手指敲击之间的分类精度为80.1%。虽然许多研究最近才开始将fNIRS用于实时BCI应用，但目前该领域的研究已发现DL技术可用于提高分类精度和自动特征提取。

诊断工具

DL技术与fNIRS在临床研究中也具有广泛的应用前景，尤其是作为一种诊断工具。Xu等人(2019)记录了来自儿童双侧额回和双侧颞叶的静息态fNIRS数据。使用左侧颞叶中的单个通道，CGRNN分类器能够以92.2%的准确率、85.0%的敏感性和99.4%的特异性对7s的静息态HbR数据成功分类儿童自闭症谱系障碍(ASD)。如图6所示，ASD组和对照组的多个HbO2和HbR通道显示出统计学上的显著差异。Xu等人(2021)使用带有注意力层的CNN分类器，使用相似的静息态数据在ASD和典型发育(TD)被试之间进行分类，分别实现了93.3%、90.6%和97.5%的准确度、灵敏度和特异性。Xu等人(2020)进一步探索了使用fNIRS数据检测自闭症被试，发现使用CNN+LSTM分类器和HbO2数据，他们能够实现ASD检测的单通道准确度、灵敏度和特异性分别为95.7%、97.1%和94.3%。除自闭症外，还研究了使用fNIRS诊断其他心理障碍。Ma等人(2020)在使用LSTM进行语言流畅性任务时，能够以96.2%的平均分类准确率区分成人双相抑郁症和重度抑郁症。Wang等人(2021)成功区分了健康被试和被诊断患有重度抑郁症的患者，准确率为83.3%。

 

图6.结合LSTM和CNN(LAC)的DL模型，根据fNIRS自发血流动力学波动的时变特性准确识别TD被试的ASD。

EEG技术通常用于临床环境，但一些研究已将EEG与fNIRS一起用于诊断研究。Sirpal等人(2019)使用LSTM架构和fNIRS数据检测癫痫发作，准确率为97.0%，使用EEG数据，准确率达到97.6%，而结合EEG和fNIRS数据，准确率提高到98.3%，再次展示了混合EEG-fNIRS记录如何提高分类精度，即使精度已经很高。fNIRS的另一个用途是帮助检测轻度认知障碍(MCI)，即阿尔茨海默病的前驱阶段。此外，许多研究显示出fNIRS与DL技术作为一种强大而准确的诊断工具的有用性。

皮层激活分析

除了BCI和诊断工具之外，fNIRS数据还有很多用途。理解大脑的功能连接是理解众多神经现象背后的机制的重要部分。因此，越来越多的人对使用神经影像学来了解大脑的功能连接产生了兴趣。Behboodi等人(2019)使用fNIRS记录了大脑感觉运动和运动区域的静息态功能连接(RSFC)。在这项研究中，使用了四种方法，基于种子点、ICA、ANN和CNN。与前两种方法不同，ANN和CNN使用非常有限的预处理，两者都使用过滤后HbO2数据以形成连接图。然后使用ROC曲线将每个连接图与基于每个探测器的生理位置的预期激活进行比较，如图7所示，CNN的ROC曲线的曲线下面积(AUC)为0.92，优于ANN(0.89)、ICA(0.88)和基于种子点(0.79)的方法。Sirpal等人(2021)的研究考察了RSFC，该研究收集了EEG和fNIRS数据，并尝试使用EEG数据和LSTM来重建fNIRS信号。他们发现仅使用EEG信号的伽马波段具有最低的重建误差，低于0.25。通过将仅使用伽马波段和使用全谱EEG信号构建的信号的功能连接与实验fNIRS数据的功能连接进行比较，进一步验证了重建fNIRS信号的有效性。尽管使用伽马波段形成的信号具有较低的重建误差，但全频谱EEG信号的根MSE始终较低。

 

图7.(a)手部运动的皮层区域。(b)由fNIRS监测的感觉运动解剖区域和与手部运动相关的运动区域用绿色突出显示。(c)基于CNN的静息态连接检测得到的组RSFC图。(d)不同方法的ROC曲线。

结论

本文回顾了近年来DL技术在fNIRS中的应用。DL模型主要用于基于fNIRS数据的分类任务，并且在大多数情况下，DL模型的预测精度优于传统技术，包括已建立的ML方法。DL模型在所有情况下都提供了非常快速的推断计算时间。这些特征对整个fNIRS领域具有变革性的力量，因为它们为快速准确的数据处理或分类任务奠定了基础。值得注意的是，DL模型在经过验证和建立后，以最小的计算成本提供了床边应用实时处理的独特潜力。虽然DL模型的应用面临着许多挑战，但本综述的结果提供的证据表明，DL将在fNIRS数据处理和床边应用中发挥更大的作用。

原文：Deep learning in fNIRS: a review.

DOI: 10.1117/1.NPh.9.4.041411

小伙伴们点个“在看”，加

(星标)关注茗创科技，将第一时间收到精彩内容推送哦～