Transformers for 1D signals in Parkinson’s disease detection from gait

用于帕金森病步态检测中一维信号的Transformers

Duc Minh Dimitri Nguyen, Mehdi Miah, Guillaume-Alexandre Bilodeau LITIV Laboratory, Dept. of Computer engineering and Software engineering Polytechnique Montréal Montréal, Canada duc.md.nguyen@ulb.be, { mehdi.miah, gabilodeau } @polymtl.ca Wassim Bouachir TÉLUQ University Department of Science and Technology Montréal, Canada wassim.bouachir@teluq.ca

摘要——本文的重点是在分析患者步态的基础上检测帕金森病。Transformer网络在自然语言处理和图像识别中的日益普及和成功促使我们开发了一种基于Transformers自动特征提取的新方法。Transformers在一维信号中的应用还不是很广泛，但我们在本文中表明，它们可以有效地从一维信号中提取相关特征。由于Transformers需要大量内存，我们将时间和空间信息解耦，使模型更小。我们的体系结构使用了时间Transformers、降维层来降低数据的维数、空间Transformer、两个完全连接的层和一个输出层来进行最终预测。在Physionet数据集上，我们的模型在区分帕金森病患者和健康患者方面优于当前最先进的算法，准确率为95.2%。从这项工作中学习到的一个关键点是，Transformers允许结果具有更大的稳定性。源代码和预先训练的模型发布于https://github.com/DucMinhDimitriNguyen1.

一、 引言

    帕金森病（PD）每10万居民中就有12至15人患病，是继阿尔茨海默病（Alzheimer’s disease）之后第二常见的神经系统疾病。年龄是解释该病发病的主要因素：在工业化国家，60岁以上人群的患病率达到1%[2]。这种疾病不仅会缩短患者的预期寿命，而且会给社会带来经济负担。
    目前，没有治疗帕金森病患者的药物。早期发现该疾病的最初症状可以使用药物来减轻长期影响。然而，由于个体间的差异性，诊断PD是一项复杂的任务，导致医生缺乏知识或主观错误导致错误诊断。
    这种疾病是由大脑中缺乏多巴胺（一种化学信使）引起的，多巴胺会引起运动和非运动症状。在前者中，患者通常会出现静态震颤、僵硬、运动缓慢和姿势不稳。还描述了非运动症状，如睡眠障碍、言语障碍和嗅觉丧失[3]。
    最近，一些研究人员一直在开发自动诊断PD的方法。由于步态障碍是帕金森病最常见的特征之一，步态分析是一种无创、廉价的疾病检测方法。帕金森病患者的步态特征是步幅较小，步态周期较慢，站姿阶段较长，平足而不是脚趾到脚跟的打击[4]。所开发的方法要么基于1）手工特征，如站姿时间、摆动时间、速度、步长或步幅[5]，结合经典的机器学习方法，如支持向量机、决策树或k近邻，要么基于端到端学习方法，如深度神经网络。事实上，自人工神经网络在视觉领域取得突破性成果[6]以来，深度学习已逐渐适应于自然语言处理等其他领域。最初为文本数据开发的Transformer体系结构【7】，后来被改编为视觉任务【8】、【9】。它是一个编码器-解码器框架，其中输入是一个数据序列，输出是另一个序列。该模型还基于注意力机制，允许考虑序列每个部分的影响。
    本文研究了基于步态的PD检测问题。这可以通过脚部传感器来实现。为此，从患者的行走中采集18个一维信号。这些信号向量表示垂直地面反作用力（VGRF）随18英尺传感器捕获时间的变化。1D信号首先划分为段。然后，我们基于Transformers的深度学习模型将这些部分划分为相应的类别（帕金森病或非帕金森病）。最后，我们使用行走的所有部分进行多数投票，以确定患者是否应归类为帕金森病患者。
    我们的模型带来的主要方法新颖性来自于使用Transformers作为特征提取器。
    仅使用自然语言中使用的传统Transformers的编码器部分。我们的想法是，通过利用编码器捕获时间和空间依赖性的能力，我们可以使用该编码器来表示有用的信息。为了限制复杂性，我们的模型首先使用Transformer编码器捕获时间相关性，然后使用第二个编码器学习所有脚部传感器之间的空间相关性。
    综上所述，我们的主要贡献如下：•我们提出了一种新的方法来检测帕金森氏病，该方法使用基于变压器的算法，首先对单独的传感器信号应用时间注意力，然后再应用空间注意力来构建多传感器时空步态特征；•与最先进的方法相比，我们的方法更具竞争力和稳定性，在PhysioNet数据集上的准确率为95.2%，与最近的方法相比，方差更低。

二、相关工作

    由于帕金森病有许多症状，已经开发了几种方法来检测它。例如，要求患者用数码笔在图形平板上绘制螺旋线【10】、【11】。我们还可以提到对语音的分析，以检测PD的症状【12】、【13】、【14】。
    在我们的工作中，我们将重点放在从步态数据中检测PD，步态数据由使用脚传感器捕获的垂直地面反作用力（VGRF）信号组成。在这种情况下，Ertugrul等人[15]提出了一种基于移位一维局部二进制模式（1D-LBP）和机器学习分类器的算法。
    他们使用了18个来自帕金森病患者和对照受试者足部传感器的VGRF输入信号。对于每个信号，他们应用移位的1D-LBP构建18个1D-LBP模式直方图，从中提取统计特征，如熵、能量和相关性。最后，他们将所有18个直方图中的特征串联起来，并使用各种有监督的分类器，如随机森林和多层感知器（MLP）对特征向量进行分类。Balaji等人[5]提取了统计和运动学特征，如摆动时间、摆动站姿比、节奏、速度或步长。他们将这些手工制作的特征输入到一些机器学习技术中，如决策树、支持向量机、集成分类器和贝叶斯分类器，以评估疾病的严重程度。Zhao等人【16】使用手工特征的k-最近邻集合预测PD的严重程度。
    自2012年深度学习革命以来，端到端学习算法已被用于检测PD。Alzubaidi等人[17]的工作全面回顾了神经网络在PD检测中的应用。Aversano等人[18]直接对来自传感器的数据使用了深度神经网络。El Maachi等人【19】提出了一种用于帕金森病检测和步态严重程度预测的深1D卷积神经网络（1D Convnet）。
    他们的模型处理了来自测量垂直地面反作用力的足部传感器的18个1D信号。网络的第一部分由18个并行1D Convnet组成，用于处理每个1D信号。第二部分是一个完全连接的网络，连接1D-Convnets的串联输出，以获得最终分类。本文将介绍的模型是受这最后一项工作的启发，该模型目前在基于步态分析的帕金森病患者分类中具有最先进的（SOTA）准确性。
    Hoang等人【20】通过将所有信号串联成二维图像，开发了基于二维Convnet的模型。接下来，他们使用2D Convnet从图像中提取特征，然后将其重塑为一维向量。最后，使用1D Convnet捕捉行走每一段的时间效果。Setiawan和Lin的工作中使用了经过预训练的2D转换网络[21]。
    他们将来自16个传感器的信号转换为spectrogram图像，这是一种通常用于描述音频信号的可视化方法。然后，他们使用预先训练好的模型，如AlexNet、ResNet和GoogLeNet来评估疾病的严重程度。
    Convnets还与长-短期记忆（LSTM）[22]相结合，这是一种用于从时间和空间域提取特征的递归神经网络结构。Zhao等人【23】使用深度学习算法检测帕金森病。他们的模型由一个用2D Convnet分析力的空间分布的网络和一个用递归神经网络分析力的时间分布的第二个网络组成。这两个层并行工作。
    最终分类由两个输出通道的平均值决定。然后，Xia等人【24】通过注意力增强的LSTM区分左侧步态和右侧步态，改进了结构。在使用2D-Convnet提取表示后，他们为双脚构建了鲁棒的特征。除了网络变化外，输入序列基于步态周期，而不是提取行走片段。
    之前的工作使用了递归神经网络、卷积神经网络和其他架构，这些架构现在正慢慢被Transformers所取代，这些架构在不同类型的应用中，如【8】中所示的图像识别。事实上，Transformer编码器依赖于注意力机制来加权序列中每个元素的表示。然后将这些表示与完全连接的层融合。本文的思想是利用Transformers捕获信号相关性的能力来改进算法的特征提取部分。通过这样做，我们表明我们的表现优于目前最先进的方法【19】。

三、 拟定transformer模型

    我们提出的模型如图1所示。它由两个主要部分组成：1）由Transformers（时间Transformer编码器、FC-0、空间Transformer编码器）组成的特征提取器，以及2）由两个完全连接的层和一个输出层（FC-1、FC-2、输出）组成的分类器。第一部分是我们的贡献，通过引入一个使用Transformers的新特征提取器。第二部分使用提取的特征作为输入，对应于完全连接的层，以输出最终分类。
    自动特征抽取器背后的想法来自两个关键观察。首先，通过多次实验，我们观察到时间和空间依赖性对于模型正确分类患者很重要。实际上，Transformers可用于捕获每个传感器的时间依赖性，其对应于由一定时间量分隔的向量的两个值之间的链接。此外，Transformers还可用于捕获来自18英尺传感器的每组向量之间的空间相关性。每个脚部传感器放置在脚部的不同位置，这可能是算法的有用信息。
    其次，Transformers非常消耗内存。为了使我们的方法更容易适用和更小，我们决定分两个阶段使用Transformers，首先捕获时间相关性，然后捕获空间相关性，而不是使用单个Transformer捕获两者。因此，在捕获时间依赖性之后，使用完全连接的层执行降维。这允许我们使用数据较少的Transformer来捕获空间依赖关系。以下小节详细介绍了所提议的方法。

图1：。Transformer模型的架构。它由一个特征提取器（时间Transformer编码器、FC-0、空间Transformer编码器）和一个分类器组成，分类器由两个完全连接的层和一个输出层（FC-1、FC-2、输出）组成。该视图省略了输入序列的位置编码和分段。

A、 数据预处理

    为了获得更多数据，每个行走被划分为100个时间步的较小部分，重叠50%（最终数据集包含64468个部分），如图2所示。除了提供更多数据外，这种行走分段允许我们保持模型较小，因为时间Transformers的参数较少。此外，这允许我们使用每个分段的组合分类对每个行走进行分类。
    选择100时间步长的方式是在每个段中存储足够的信息，同时保持向量足够小，以便Transformers仍然可以使用。实际上，由于内存限制，不能使用太大的向量。

B、 时态Transformer编码器

    每个时态Transformer编码器块由一个多头注意力和一个前馈网络组成，如BERT（BERT）[7]提出的自然语言处理。一个微妙之处在于位置编码的选择。由于Transformers没有考虑序列排序的机制，因此我们必须向输入数据中添加一个位置编码，该编码可以对这种排序进行编码，如【7】所示。
    多位置编码方案是可能的（学习和固定的），如【25】所示。在这里，我们选择了一个固定的，在不同位置编码之间有恒定步长的编码。
    这是因为在我们的例子中，我们以固定不变的方式分离向量。每个向量包含100个元素。与自然语言处理中的句子可能有不同的长度不同，这里的Transformer输入的长度是已知的和固定的，允许我们使用下面描述的位置编码。我们的选择受到了[8]中在图像识别方面所做工作的启发。
    用于捕获时间相关性的前18个Transformers使用与位置编码相同的数字序列，从0到向量大小（在本例中为100）。位置编码已被规范化（没有元素超过1），以便在向原始向量添加位置编码时不mask原始向量中存在的所有信息。图3的顶部说明了这是如何实现的。
![在这里插入图片描述](https://img-blog.csdnimg.cn/a0f51068016a4589a0d552ef8087486d.png#pic_center

图2：。分割：从一个序列中，我们获得多个固定大小的子序列，这些子序列是我们的模型的输入。

图3：。位置编码：时空信息被解耦，因此模型首先处理时间信息，然后处理空间信息。顶部：时间Transformer编码器的位置编码，底部：空间Transformer编码器的位置编码。

C、 空间Transformer编码器

    因此，首先通过我们的时态Transformer编码器检索时态依赖关系。然后执行降维，然后串联所有降维向量以用作空间Transformer编码器的输入。
    空间Transformer的作用是发现传感器之间的依赖关系。
    另一个位置编码被添加到空间Transformer编码器的输入中。这里，空间Transformer的输入由经过降维的不同时间Transformer编码器的18个输出组成。不同时间Transformer编码器的每个输出从100个元素减少到10个元素。然后，将10个元素的18个向量串联在一起，以馈送到空间Transformer编码器。考虑到这18个向量来自18个不同的脚传感器，位置编码对应于向量的每个元素按相同常数的偏移。
    该常数的值介于0和17之间，根据矢量来自的脚传感器进行归一化。图3的底部显示了如何实现它的示例。

D、 行走分类

    对空间相关性进行编码后，特征将通过两个完全连接的层和输出层进行分类。每一部分都将被分类，最后将进行多数表决，以确定患者是否患有帕金森病。

四、 实验

A、 实施细节

    表一给出了我们提出的方法的超参数。
    在表I中，块数表示Transformers的编码器块数。对于时间和空间Transformer编码器，多头注意力的嵌入维度分别为100和180。
    串联的层表示来自脚部传感器的18个向量的串联，由于尺寸减小，每个向量的大小为10。
    每个完全连接的层都与Selu激活函数（缩放指数线性单位）[26]一起使用，但我们使用sigmoid激活函数的输出除外。请注意，当使用Selu而不是Relu作为激活函数时，我们获得了略好的结果。使用的学习率为0.001。使用了100个纪元并提前停止。已使用验证损失对早期停车进行监控，监控量的最小变化为0.01，以符合改进条件。此外，20个没有进步的时代将停止训练。使用的批次大小为110。

B、 数据集和评估指标

    我们使用了Physionet【27】2收集的公共数据集，其中包括Frenkel Toledo等人【28】、【29】、Yogev等人【30】和Hausdorff等人【31】报告的数据。在该数据集中，PD患者和健康对照者被要求在两分钟内用绑在鞋上的传感器行走，就像他们以自己选择的惯常步速行走一样（来自[29]和[31]）。此外，数据集中还包括了记录为受试者在行走时执行第二项任务的测量（来自[30]）。总共有166人记录了306次步行。事实上，93名受试者（56%）为帕金森病患者，73名受试者（44%）为健康人，214名受试者（70%）为帕金森病患者，92名受试者（30%）为对照组。
    由于对帕金森病患者进行的实验数量较多，因此针对这些类型的患者收集了更多的数据，导致数据集不平衡（70%的帕金森行走和30%的对照行走）。对于每次步行，都有18个时间序列信号可用：每只脚上8个传感器记录的16（8x2）VGRF和每只脚下的2个总VGRF。表二包含帕金森病患者和健康人群的一些人口统计数据，表三包含帕金森病步行和对照步行的一些信息。
    为了评估模型，我们使用了10倍的交叉验证，与[19]中相同的倍数。每个帕金森组和对照组在受试者水平上分为10组，以保持每个组的数据集平衡（70%帕金森组和30%对照组）。在每个褶皱内，将每次行走划分为更小的部分（100个时间步，重叠50%）。每个部分都标有训练的主题类别。对模型进行了训练的以对这些片段进行分类，并通过多数投票获得最终结果。
    对照组为负（N）组，帕金森组为正（P）组。三个指标用于衡量我们的模型的性能：

，其中：•Se是灵敏度；•Sp是特异性；•Acc是准确度；•T P（T N）真正数（负）；•F P（F N）假正数（负）。
表一超参数值

表II关于P HYSIONET数据集患者的统计数据

表III P HYSIONET数据集中每项研究的行走次数

C、 结果

    表IV显示了我们的模型在其他相关工作中获得的性能。SD表示在10倍范围内获得的标准偏差。为了进行可靠的比较和类似的实验设置，我们使用他们提供的代码重新训练了[19]的模型。
    我们的模型在灵敏度（Se）和最终精度（Acc）方面优于当前的SOTA方法。特异性（Sp）略低于[19]中的深层神经网络，但我们确实获得了较低的标准偏差。在我们的模型中引言Transformers，我们可以观察到的一个关键区别是不同褶皱的稳定性增加。这反映在用于衡量算法性能的所有三个指标的较低标准差中。
    这种更高的稳定性是有代价的，因为我们的模型的训练时间大约是[19]的DNN的4倍。Transformer体系结构确实非常消耗内存，需要更长的时间进行训练。
表IV我们提出的方法与SOTA的性能比较。B OLDFACE表示每个指标的最佳方法。†：通过运行其提供的代码获得的结果。

D、 讨论

    为了更深入地了解结果，让我们回顾一下，这里获得的结果来自多数票。
    事实上，我们的模型经过了训练的，可以对行走的各个部分进行分类。事实上，64468个片段的分类准确率为89%。通过多数投票，我们可以根据患者的整个步行过程对其进行分类，最终准确率为95.2%。因此，我们可以假设11%的错误分类片段分布在患者身上，而不是集中在特定的行走上。然而，我们可以注意到，特异性低于敏感性。我们可以得出结论，大多数错误分类的片段来自被检测为帕金森病行走的对照行走（假正）。事实上，某些健康患者的非典型步行看起来像帕金森病患者的步行，这被我们的算法错误地分类了。要做到这一点，应将该行走的50%以上片段错误分类，从而降低特异性。请注意，在所有不同的SOTA方法中，这种困难似乎是一致的。这可以用数据集不是很大这一事实来解释。
    然而，这种敏感性非常高，这意味着帕金森病患者几乎总是被很好地发现。

E、 消融研究

    通过删除最终架构的元素，我们可以看到模型的不同元素如何帮助提高最终精度。基于这一原理，研究了不同的模型。表V显示了我们的模型的每个组件与最终选择的架构相比的性能。在模型A中，我们移除了所有的时间Transformers，并用一维卷积网络代替它们。我们还删除了降维层（FC-0）和空间transformer。
    第二部分（图1中的绿色部分）保持不变。在模型B中，我们删除了降维层（FC-0）和空间transformer。时间transformers和建筑的第二部分保持相同。在模型C中，我们用一个时空Transformer代替了整个特征提取器，该变压器现在同时馈送18个1D信号。架构的第二部分是相同的。
    由于内存限制，在这种情况下，我们不得不使用较小的向量大小（50个元素的向量，即时空Transformer由18×50个元素的矩阵馈送）。
    最后，最终的模型与本文讨论的模型相对应，如图1所示。
    正如我们所观察到的，使用时间Transformers（模型B）代替一维卷积网络（模型A）有助于降低标准偏差。然而，由于没有捕捉到空间依赖性，结果不如我们的最终模型好。通过仅利用一个时空Transformer（模型C），获得的最终精度略高于我们使用模型B获得的精度，但由于需要处理大量信号元素的参数，只能分析较短的时间窗口，这可能无法很好地捕获步态信息。我们的两个Transformers的组合可以捕获更好的步态信息，同时保持合理的内存需求。Bertasius等人[32]在视频理解的背景下也观察到了这一点，其中表明，分离空间和时间注意力可以通过可伸缩的设计捕获长期依赖性。
    最后，我们从这项消融研究得出结论，移除或更换模型的组件会导致性能下降。
表V烧蚀研究中获得的性能。B OLDFACE表示最佳结果。

五、 结论

    本文提出了一种利用Transformer网络提取相关步态特征并从步态中检测帕金森病的新方法。然后将提取的特征用于经典前馈网络，输出分类结果。
    Transformers越来越流行，尤其是在自然语言和图像处理领域。这项工作的目标是评估该架构如何与1D信号一起用于步态分类。正如在[8]中对图像所做的那样，我们只能使用编码器部分来提取1D信号中的相关特征。我们的模型的另一个优点是，由于向量的长度不可变，我们可以使用直观的位置编码。
    目前Transformer正在解决的一个大挑战是这种体系结构所需的内存消耗。在这里，我们提议通过分离时间和空间的注意力，利用有限内存的Transformer。这使我们能够取得SOTA成果。

参考文献

[1] D. Hirtz, D. J. Thurman, K. Gwinn-Hardy, M. Mohamed, A. Chaud- huri, and R. Zalutsky, “How common are the “common” neurologic disorders?” Neurology , vol. 68, no. 5, pp. 326–337, 2007.

[2] L. M. De Lau and M. M. Breteler, “Epidemiology of parkinson’s disease,” The Lancet Neurology , vol. 5, no. 6, pp. 525–535, 2006.

[3] W. Poewe, K. Seppi, C. M. Tanner, G. M. Halliday, P. Brundin, J. Volkmann, A.-E. Schrag, and A. E. Lang, “Parkinson disease,” Nature reviews Disease primers , vol. 3, no. 1, pp. 1–21, 2017.

[4] M. E. Morris, F. Huxham, J. McGinley, K. Dodd, and R. Iansek, “The biomechanics and motor control of gait in parkinson disease,” Clinical biomechanics , vol. 16, no. 6, pp. 459–470, 2001.

[5] E. Balaji, D. Brindha, and R. Balakrishnan, “Supervised machine learning based gait classification system for early detection and stage classification of parkinson’s disease,” Applied Soft Computing , vol. 94, p. 106494, 2020.

[6] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classification with deep convolutional neural networks,” Advances in neural information processing systems , vol. 25, pp. 1097–1105, 2012.

[7] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, Ł. Kaiser, and I. Polosukhin, “Attention is all you need,” in Advances in neural information processing systems , 2017, pp. 5998–6008.

[8] A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, and N. Houlsby, “An image is worth 16x16 words: Transformers for image recognition at scale,” in International Conference on Learning Representations , 2021. [Online]. Available: https://openreview.net/forum?id=YicbFdNTTy

[9] Z. Liu, Y. Lin, Y. Cao, H. Hu, Y. Wei, Z. Zhang, S. Lin, and B. Guo, “Swin transformer: Hierarchical vision transformer using shifted windows,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) , October 2021, pp. 10 012–10 022.

[10] İ. Cantürk, “Fuzzy recurrence plot-based analysis of dynamic and static spiral tests of parkinson’s disease patients,” Neural Computing and Applications , vol. 33, pp. 349–360, 2021.

[11] P. Khatamino, İ. Cantürk, and L. Özyılmaz, “A deep learning-cnn based system for medical diagnosis: an application on parkinson’s disease handwriting drawings,” in 2018 6th International Conference on Control Engineering & Information Technology (CEIT) . IEEE, 2018, pp. 1–6.

[12] L. Moro-Velazquez, J. A. Gomez-Garcia, J. I. Godino-Llorente, J. Vil- lalba, J. Rusz, S. Shattuck-Hufnagel, and N. Dehak, “A forced gaussians based methodology for the differential evaluation of parkinson’s disease by means of speech processing,” Biomedical Signal Processing and Control , vol. 48, pp. 205–220, 2019.

[13] S. S. Upadhya, A. Cheeran, and J. H. Nirmal, “Thomson multitaper mfcc and plp voice features for early detection of parkinson disease,” Biomedical Signal Processing and Control , vol. 46, pp. 293–301, 2018.

[14] L. Zahid, M. Maqsood, M. Y. Durrani, M. Bakhtyar, J. Baber, H. Jamal, I. Mehmood, and O.-Y. Song, “A spectrogram-based deep feature assisted computer-aided diagnostic system for parkinson’s disease,” IEEE Access , vol. 8, pp. 35 482–35 495, 2020.

[15] Ö. F. Ertuğrul, Y. Kaya, R. Tekin, and M. N. Almalı, “Detection of parkinson’s disease by shifted one dimensional local binary patterns from gait,” Expert Systems with Applications , vol. 56, pp. 156–163, 2016.

[16] H. Zhao, R. Wang, Y. Lei, W.-H. Liao, H. Cao, and J. Cao, “Severity level diagnosis of parkinson’s disease by ensemble k-nearest neighbor under imbalanced data,” Expert Systems with Applications , vol. 189, p. 116113, 2022.

[17] M. S. Alzubaidi, U. Shah, H. Dhia Zubaydi, K. Dolaat, A. A. Abd- Alrazaq, A. Ahmed, and M. Househ, “The role of neural network for the detection of parkinson’s disease: A scoping review,” in Healthcare , vol. 9, no. 6. Multidisciplinary Digital Publishing Institute, 2021, p. 740.

[18] L. Aversano, M. L. Bernardi, M. Cimitile, and R. Pecori, “Early detection of parkinson disease using deep neural networks on gait dynamics,” in 2020 International Joint Conference on Neural Networks (IJCNN) . IEEE, 2020, pp. 1–8.

[19] I. E. Maachi, G. Bilodeau, and W. Bouachir, “Deep 1d-convnet for accurate parkinson disease detection and severity prediction from gait,” CoRR , vol. abs/1910.11509, 2019. [Online]. Available: http://arxiv.org/abs/1910.11509

[20] N. S. Hoang, Y. Cai, C.-W. Lee, Y. O. Yang, C.-K. Chui, and M. C. H. Chua, “Gait classification for parkinson’s disease using stacked 2d and 1d convolutional neural network,” in 2019 International Conference on Advanced Technologies for Communications (ATC) . IEEE, 2019, pp. 44–49.

[21] F. Setiawan and C.-W. Lin, “Implementation of a deep learning algo- rithm based on vertical ground reaction force time–frequency features for the detection and severity classification of parkinson’s disease,” Sensors , vol. 21, no. 15, p. 5207, 2021.

[22] S. Hochreiter and J. Schmidhuber, “Long short-term memory,” Neural computation , vol. 9, no. 8, pp. 1735–1780, 1997.

[23] A. Zhao, L. Qi, J. Li, J. Dong, and H. Yu, “A hybrid spatio-temporal model for detection and severity rating of parkinson’s disease from gait data,” Neurocomputing , vol. 315, pp. 1–8, 2018.

[24] Y. Xia, Z. Yao, Q. Ye, and N. Cheng, “A dual-modal attention-enhanced deep learning network for quantification of parkinson’s disease char- acteristics,” IEEE Transactions on Neural Systems and Rehabilitation Engineering , vol. 28, no. 1, pp. 42–51, 2019.

[25] J. Gehring, M. Auli, D. Grangier, D. Yarats, and Y. N. Dauphin, “Con- volutional sequence to sequence learning,” in International Conference on Machine Learning . PMLR, 2017, pp. 1243–1252.

[26] G. Klambauer, T. Unterthiner, A. Mayr, and S. Hochreiter, “Self- normalizing neural networks,” in Proceedings of the 31st international conference on neural information processing systems , 2017, pp. 972– 981.

[27] A. L. Goldberger, L. A. Amaral, L. Glass, J. M. Hausdorff, P. C. Ivanov, R. G. Mark, J. E. Mietus, G. B. Moody, C.-K. Peng, and H. E. Stanley, “Physiobank, physiotoolkit, and physionet: components of anew research resource for complex physiologic signals,” circulation , vol. 101, no. 23, pp. e215–e220, 2000.

[28] S. Frenkel-Toledo, N. Giladi, C. Peretz, T. Herman, L. Gruendlinger, and J. M. Hausdorff, “Effect of gait speed on gait rhythmicity in parkinson’s disease: variability of stride time and swing time respond differently,” Journal of neuroengineering and rehabilitation , vol. 2, no. 1, p. 23, 2005.

[29] ——, “Treadmill walking as an external pacemaker to improve gait rhythm and stability in parkinson’s disease,” Movement disorders: official journal of the Movement Disorder Society , vol. 20, no. 9, pp. 1109–1114, 2005.

[30] G. Yogev, N. Giladi, C. Peretz, S. Springer, E. S. Simon, and J. M. Hausdorff, “Dual tasking, gait rhythmicity, and parkinson’s disease: which aspects of gait are attention demanding?” European journal of neuroscience , vol. 22, no. 5, pp. 1248–1256, 2005.

[31] J. M. Hausdorff, J. Lowenthal, T. Herman, L. Gruendlinger, C. Peretz, and N. Giladi, “Rhythmic auditory stimulation modulates gait variability in parkinson’s disease,” European Journal of Neuroscience , vol. 26, no. 8, pp. 2369–2375, 2007.

[32] G. Bertasius, H. Wang, and L. Torresani, “Is Space-Time Attention All You Need for Video Understanding?” in ICLR , 2021.