【论文阅读】A high-performance neural prosthesis enabled by control algorithm design

ABSTRACT

神经假肢将来自大脑的神经活动转化为控制信号，以指导假肢设备，如计算机光标和机器人肢体，从而为残疾人提供与世界之间更大的互动。然而，相对较低的性能仍然是临床转化成功的关键障碍；目前的神经假体比原生臂慢得多，精确控制也较差。在这里，我们提出了一种新的控制算法，重新校准反馈意图训练卡尔曼滤波器（recalibrated feedback intention–trained Kalman filter，ReFIT-KF），它包含了关于闭环神经假体控制性质的假设。当在植入运动皮层电极阵列的恒河猴中进行测试时，ReFIT-KF算法在所有测量领域上都优于现有的神经假肢算法，并将目标采集时间减半。这种控制算法允许持续、不间断地使用数小时，并推广到更具有挑战性的任务，而无需再训练。使用该算法，我们在两只猴子体内植入后证明了数年可重复的高性能，从而提高了神经假体的临床可行性。

---

神经假体最近在概念证明动物实验和人类临床试验中显示出了相当大的前景，可以部分恢复瘫痪个体的运动输出。该领域的研究主要侧重于将皮层运动控制基础神经科学的见解和方法应用于该工程背景。一个关键的例子是使用运动皮层调整模型，该模型描述了单个单位发射率（unit firing rates）和手臂运动运动学（arm-movement kinematics）之间的关系，以定义一个闭环中计算机光标的神经控制映射。当这种神经假肢被引入猴子时，通过学习，其表现可以不断提高。除了控制计算机光标外，这些系统还成功地驱动了机器人的末端执行器。神经假肢研究纳入了运动神经科学的其他概念，证明了通过建模与运动准备（movement preparation）和本体感觉反馈（proprioceptive feedback）相关的神经活动来增强系统性能的潜力。最近的研究还表明，当记录的神经元群和控制算法保持不变时，随着时间的推移，神经假肢的性能会随着稳定的神经输出映射的形成而提高，并且一旦学习到多个映射，就可以在不同的控制上下文中被保留和检索。尽管有这些新的见解和额外的算法的进步，相对于原生手臂控制的性能，在简单的曲线控制任务上的系统性能仍然很低，这是临床转化的一个关键障碍。

为了提高神经假体的性能，我们专注于一种系统工程的方法。在该领域现有方法的基础上，我们开发了两项关键创新，改变了这些算法的建模假设以及这些算法的训练方法。此外，我们还选择了信号调节方法，将记录的神经信号转换为控制算法的输入，以提高系统的稳定性和性能。正如在闭环神经控制实验中所证明的那样，这些方法在多个光标控制任务中产生了高性能。

RESULTS

Performance overview

图1：(a) 猴子J在“中心向出和向后”期间光标路径的代表性轨迹。虚线（猴子看不见）是八个外围目标和中心目标的需求框，用半透明的绿色圆圈表示。目标在中心和外围之间按所示数字指示的顺序交替。在所有16次“中心向出和向后”运动的持续时间内，轨迹是连续的，分别代表原生手臂、ReFIT-KF和Velocity-KF达到的15.27s、16.87s和32.23s。(b) 每次成功试验时从直线路径到目标的最大偏差（mean±s.e.m.）。(c,d) 猴子J和L成功试验的目标时间。插图显示了到达目标的时间（mean±s.e.m.）。(e,f) 到目标的平均距离关于时间的函数。插图为拨入时间的mean±s.e.m.，或者说是首次捕捉目标后，最终选定需求框所需的时间，以成功保持500ms。拨号时间中不包括保持时间。线形图的加厚部分也表示拨入时间，从第一次目标捕获的平均时间开始，到平均试验持续时间减去500ms结束。这些数据来自实验（由猴子标识字母、年份、月和日期指定），J-2010-10-27, J-2010-10-28, J-2010-10-29, J-2010-11-02, L-2010-10-27, L-2010-10-28, L-2010-10-29 and L-2010-11-02。除了光标路径轨迹外，所有的图都是由每只猴子的4天实验中成功的中心外试验构建的，所有三种对照方法都进行了测试。

我们训练猴子用光标来获取目标，光标由自然手臂运动或神经活动控制。我们开发了一种算法，ReFIT-KF，它导致了显著的更高性能的神经假肢控制。图1比较了三种不同模式的光标运动：原生手臂控制、ReFIT-KF和速度卡尔曼滤波器（Velocity-KF），这是目前神经假肢的最新技术。猴子被要求将计算机光标移动到一个视觉目标，并将光标保持在需求框内500ms，才能成功完成试验并获得液体奖励。在这个“中心向出和向后”任务中，目标在一个中心位置和八个外围位置之间交替出现。在在线神经控制过程中，猴子的对侧手臂没有受到限制，并继续活动。然而，身体运动不是刻板的，在某些神经控制过程中，身体运动通常会减弱甚至停止，同时保持表现。在其他的对照实验中，猴子的两臂都受到了限制，我们观察到很少或没有手臂运动具有相似的神经控制性能（表1）。

ReFIT-KF算法在几个方面都优于Velocity-KF。首先，使用ReFIT-KF控制的光标移动更直(图1a,b)，从直线到目标的移动更少。使用ReFIT-KF产生的光标运动与原生手臂运动在定性上相似(图1a)。其次，这些动作也完成得更快。ReFIT-KF光标控制性能，通过成功获得目标的时间(图1c,d)来测量，为原生手臂控制性能的75-85%，至少有两倍的Velocity-KF控制性能。除了较低的平均到达目标时间外，方差显著较小，这一点很重要，因为这意味着更大的运动一致性和更少的可能令人沮丧的长期试验。最后，对于实现这一较短的目标时间至关重要的是，ReFIT-KF控制的光标运动停止得更好。停止的能力是这三种控制模式之间的一个关键区别。与原生臂和ReFIT-KF控制相比，Velocity-KF控制的光标首先获取目标的时间稍长，但往往明显超过目标，需要额外的时间和多次通过来稳定获取和保持目标。该超调校正时间主导了Velocity-KF控制成功目标捕获的总时间，并由度量“拨入时间”捕获，该时间是首次到达目标后进行最终目标捕获所需的平均时间(图1c-f)。与Velocity-KF控制相比，原生臂和ReFIT-KF控制都允许更精确的停止(图1e,f)。

在两只猴子的8次实验中，当给予4秒获得目标时，ReFIT-KF的成功率为>99%，而Velocity-KF的成功率为95%。我们选择了一个任务难度，以在第一个实验日实现所有三种控制模式的高成功率。当我们增加任务难度时，Velocity-KF的成功率相对于ReFIT-KF的成功率会下降，同样，ReFIT-KF的成功率和性能相对于原生手臂控制也会下降（见下文）。

跨越天数和年份的实验表明，ReFIT-KF控制具有一致的高性能（图2）。通过280个单独实验日的吞吐量测量，性能稳定。我们收集了猴子L在29个月内和猴子J在16个月内的数据，时间跨度为阵列植入后0.4-4.4年。为了探究性能随时间变化的可能性，我们计算了每只猴子的这些性能数据的最小二乘线性拟合。两条回归线的斜率都是正的，表明在研究的一段时间内表现是稳定的，并提供了与皮质内微电极阵列可能允许数年高性能神经控制的假设一致的证据（Online Methods）。

图2

Generalization and robustness

我们还测试了额外的行为任务来评估ReFIT-KF控制算法的泛化。与之前一样，我们将ReFIT-KF算法与“中心向出和向后”进行拟合，然后用弹球任务测试该算法，其中目标可以出现在二维工作空间的任何位置。猴子再次被要求将光标移动到目标上，并保持500ms才能成功完成试验。猴子L在两次弹球到达过程中连续捕获目标超过90分钟（图3），一次使用原生臂控制，一次使用ReFIT-KF控制。在每个试验中给予2秒以获得一个目标，两个过程的成功率为>98%。在整个过程中，ReFIT-KF控制的平均目标时间是原生臂控制的72%（ ReFIT-KF，710ms ± 317ms；native arm，519ms ± 196ms；mean ± s.d.）。我们观察到猴子J有类似的表现。ReFIT-KF的性能不仅很高(超过自然臂的三分之二，获取时间分布相当；图3a)，而且在没有干预的情况下也持续了下来(图3b)。持续的表现是ReFIT-KF控制的典型特征，而具有相同任务参数的Velocity-KF控制过程的成功率要低得多（<40%），并且猴子在超过30分钟后无法被激励获得目标。

图3：原生臂与ReFIT-KF在弹球任务中的性能比较。(a) 对于两个20分钟的片段（列），所显示的是从四个连续的目标获取中随机选择的光标轨迹（顶部；目标需求框以虚线表示，目标序列从0到4表示）。在成功试验的目标时间的标准化直方图中（底部），图下方的箭头表示平均时间。(b) 在整个过程中，每分钟的目标获取率；急剧下降表明猴子对任务失去了兴趣。插图，即整个过程的获取率。当猴子表现出高度的动力时，原生臂和ReFIT-KF（L-2010-04-01和L-2010-04-12）分别在两天内进行，时间间隔不超过11天。在这个任务中，每个目标位置都是从跨越工作区的均匀分布中选择的。

为了进一步测试ReFIT-KF控制，我们训练猴子J避开在目标直接路径上出现的视觉定义的障碍物(图4)。猴子从中心起始目标到达左或右周边目标。在一些试验中，一个屏障与周围的目标一起出现。为了成功完成试验，猴子必须使用光标在不击中障碍物的情况下获取并保持外围目标500ms。这项任务是困难的，但猴子在77%的原生臂试验(图4a)和75%的ReFIT-KF试验(图4b)中成功获得并保持了目标。在ReFIT-KF控制下，该任务达到目标的平均时间是天然臂控制的74%（ReFIT-KF，1253ms ± 588 ms and native arm，932 ms ± 709ms；mean ± s.d.）。通过Velocity-KF控制，猴子无法完成任务，很快变得沮丧和脱离。与之前的任务一样，ReFIT-KF适合“中心向出和向后”运动，并且在迷宫任务中未经修改地使用，展示了跨行为上下文的泛化。

图4

ReFIT-KF: two innovations for closed-loop neural control

我们从闭环控制的角度重新设计vocity-KF算法，实现了所描述的光标控制性能。该假肢装置构成了一种新的物理设备，其与原生臂相比具有不同的动态特性(图5a)。受试者通过调制测量的神经信号（$y_t$）来控制该新设备，然后通过控制算法将其解码为速度（$v_t$）。$v_t$用于更新屏幕上的光标，从而影响后续时间步长中的神经信号。这种闭环控制的视角表明了两个设计创新，它们都有助于所描述的性能。第一个创新是对神经假肢模型拟合方法的修改。第二个创新是对控制算法的改变。

图5：在线神经控制范式和ReFIT-KF训练方法的说明。(a) 在时间$i$时，控制算法的输入是来自植入电极的峰值计数向量$y_t$。$y_t$被转换为速度输出$v_t$来驱动光标。(b) ReFIT-KF的训练分为两个阶段。最初，光标运动学和神经活动是在手臂控制期间或光标自动移动的观察阶段收集的。这些手臂运动运动学或观察到的光标运动学与神经活动进行回归，以生成一个初始控制算法。然后，利用初始算法在一个闭环中收集了一组新的光标运动和神经活动。在神经控制过程中收集到的光标运动（红色向量）被用来通过向目标（蓝色向量）旋转速度来估计意图。这种对预期运动的估计与神经活动进行回归，以生成并运行ReFIT-KF。

First innovation

第一个设计创新是将神经假肢与预期的速度相匹配。先前的算法隐式地假设受试者使用相同的控制策略来移动原生臂和假肢光标。由于这些控制策略可能有很大的不同，我们根据过去的研究，评估了试图更好地捕捉假肢控制期间受试者策略的方法。理想情况下，在闭环神经控制期间，控制算法将适合受试者的预期光标速度。由于我们缺乏明确的了解猴子的意图，我们假设猴子希望直接向目标移动；这类似于原生臂的动作，是一个获得奖励的好策略。

我们使用了一个两阶段的优化程序（图5b）来将神经假肢模型拟合到这些对在线神经控制过程中的预期速度的估计值中。在第一阶段，猴子用他的手臂控制光标。使用手臂轨迹和同时记录的神经信号来拟合一个初始模型。然后，猴子用这个初始模型来控制神经假肢。在第二阶段，神经控制的光标运动和神经信号被记录下来，并用于拟合一个新的模型，估计光标速度的预期。通过从在上一个在线控制期间收集的光标速度开始（记录的光标运动），这些估计值将使用两个变换来计算模型拟合。首先，将速度向目标旋转，以产生估计的预期速度。第二，如果光标在目标上，猴子的最佳策略是保持光标静止，以满足保持时间的要求。因此，在训练集中，我们假设猴子在这些保持期间的意图是通过指挥零速度来保持光标的位置。这种零速度假设应用于模型参数的拟合，在不改变控制算法的情况下提高了在线性能。这些估计的意图和相应的神经数据被用于拟合ReFIT-KF控制算法。请注意，我们只将意图估计应用于训练数据：在在线控制过程中，神经假体不知道任务目标或目标的放置。

上述训练方案采用手臂控制的伸展作为训练数据。在一个瘫痪的个体中，不可能记录这一步的手臂运动。相反，这个训练步骤可以依赖于个体想象一组有指示的动作。为了测试这种可能的策略，我们基于视觉线索观察（visual-cue observation）训练了初始算法，消除了第一步中对手臂控制的要求。在这些试验中，猴子观察计算机控制的训练光标自动移动到目标。初始模型使用自动训练光标轨迹并同时记录神经活动进行拟合，而不使用测量的手臂运动（Online Methods）。表1总结了每只猴子的三个实验阶段的ReFIT-KF表现，其中ReFIT-KF模型训练的第一阶段是基于观察数据，而不是基于手臂运动。根据Fitts定律，这些实验阶段的性能与所述的原生臂控制启动的性能相似（图1和图2）。

Second innovation

第二个设计创新建立在观察到神经活动与光标的速度和位置均相关的基础上。大多数现有的神经假肢模型都是神经活动与速度或位置之间的关系。一项人体临床试验表明，模拟速度的神经假肢比模拟位置的神经假肢性能更好。然而，如果控制算法只建模速度关系，那么基于位置的发射变化将混淆解码的速度。为了减轻这种影响，我们明确地将速度建模为用户的意图，并将光标位置建模为影响神经输出的额外变量。这种修改允许用户通过测量的神经信号来控制速度，同时考虑光标位置的影响。我们明确地假设，当前的光标位置，通过积分之前的速度输出来确定，与猴子当前预期速度输出一起编码在神经活动中。因此，位置对神经活动的预期贡献被删除，从而能够更准确地估计预期的速度(图1)。

DISCUSSION

其他研究已经注意到了plant-and-control策略的潜在变化，并通过在神经假肢实验期间迭代优化参数来解决。这种方法认识到控制策略以及模型参数在闭环神经假体实验期间得到最好的测量和理解。然而，随机化初始参数可能会创建一个控制算法，它永远不会达到可能的最佳性能，就像优化问题很容易陷入局部最优一样。尽管如此，如果记录的神经元群和神经控制映射保持不变，则可以通过学习克服设备失配的后果。这种学习已经通过构建用于重建手臂运动的神经控制映射以及神经元身份已被打乱的神经控制映射得到证明，因此解码器输出不再能预测原生手臂运动。

我们研究的重点是通过改进神经控制算法和优化其参数，在单个过程内获得较高的控制性能。虽然神经假体构成了一种与原生臂具有不同特性的新设备，但运动皮质参与了原生臂的控制。因此，我们假设，初始化一个具有神经活动和自然手臂运动之间关系的模型，将允许我们的训练方法的第二阶段实现更大的优化。先前的研究已经依赖于操纵控制任务来完善神经解码器，例如通过提供辅助控制。在这些研究中，自动正确答案与神经假肢的输出混合在一起。在连续的迭代中，实验者的直觉降低了自动控制的权重，直到只有神经活动驱动控制。我们的方法是不同的，因为控制任务在整个神经假肢实验过程中保持不变，并且在第一次和第二次期间之间只操纵了训练数据。

在一项针对四肢瘫痪的人的研究中，神经假体最初是通过视觉线索观察进行训练的，这与上面描述的对照实验相似。该研究还使用了第二个神经假肢训练来解释在线控制期间的差异。与ReFIT-KF训练不同的是，在该研究中，神经光标和自动训练光标在第二阶段都在屏幕上。神经光标被用来提供反馈，以便参与者可以尝试改变他们的神经输出，以更好地跟随训练光标。在第二阶段后，神经假体与训练光标运动相匹配。因此，基本假设是，训练光标运动捕获在线控制期间的预期运动，而ReFIT-KF拟合假设预期运动最好通过神经控制光标的输出和任务目标的知识来推断。

在使用自适应解码器的研究中，神经控制光标的运动不断被用于优化神经假肢参数，也允许它们在切换到在线控制时考虑差异。然而，他们采取了不同的方法来估计再训练的预期运动。一种方法是通过平滑、非因果地使用解码器参数来估计预期的运动，以便在没有任务或目标信息的情况下保留。当使用静态峰值排序时，这种方法可以在一只猴子身上减缓29天以上的性能下降。然而，与ReFIT-KF模型拟合不同的是，初始性能并没有被超越，这可能是因为如果没有纳入任务目标，该方法在初始模型拟合中容易出现不准确性。在另一项自适应研究中，目标信息已被纳入用于再训练运动中。他们的算法用解码轨迹位置的加权平均值和每次试验的目标位置作为预期位置的估计进行了重新训练。相比之下，ReFIT-KF基于应用于光标位置、解码后的速度和目标位置的直观规则来估计预期的速度。

ReFIT-KF明确地以不同的方式处理位置和速度。由此产生的神经假体假设猴子控制速度而不是位置，与不进行这种区分的位置和速度卡尔曼滤波器相比，提供了性能增益。我们构建的模型假设速度意图平稳发展，并且位置的影响是基于猴子的光标内部模型。此外，我们假设控制算法的输出与猴子对光标位置的内部信念一致。在现实中，由于视觉信息的不准确，控制算法的位置估计与猴子的内部信念存在一定的不匹配。这种不准确性很可能存在未被建模的空间和时间成分。空间方面是对最后一次看到的位置的一个不准确的评估，而时间方面是由于视觉潜伏期。空间方面可以建模为固定位置的不确定性。为了充分考虑时间方面，可以尝试通过算法对猴子自上一次已知光标位置以来的光标动态内部模型进行建模。在这项工作中，我们选择从一个更简单的模型开始，假设这个在时间上是局部的估计是精确的。增强算法以解决时间局部前向模型与我们的动态模型之间的不匹配可能会提高控制性能。这种工作还可以导致改进用于模型训练的意图估计方法。值得注意的是，对于神经输出中位置信息的存在，可能存在其他解释。例如，这些信息可以是预期的光标位置，而不是当前光标位置的内部模型估计。为了支持内部模型假设，最近的一项研究表明，在闭环控制过程中使用了光标位置的前向模型。然而，进一步研究在线控制过程中位置信息在神经活动中的作用是必要的，这可能有助于未来控制算法的发展。

在实验过程中，ReFIT-KF表现稳定，直到猴子似乎对任务失去兴趣(例如，目标获取率下降；图3b)。这种快速的下降与原生手臂控制实验的性能是一致的，并且可能是当一个假设的人类用户完成使用他们的神经假肢时的模拟。预计性能会随着时间的推移而慢慢变化，而神经控制算法参数的连续自适应方法可能是必要的。在一个之前的研究中，控制算法输出的信息被与贝叶斯方法一起用于适应整个实验的参数以维持性能。如果在神经假肢使用过程中已知任务目标，那么本研究中定义的意图估计可以与这些参数适应方法结合使用。我们可以根据神经假体输出的特征来估计这些任务目标。例如，如果一个点击或目标选择信号同时被解码，指示用户预期目标选择，则可以在目标选择之前的时刻估计预期的光标速度。此外，在未来的工作中，根据估计的运动意图，与现有的参数初始化方法相比，评估多日学习如何影响性能和鲁棒性将非常重要。调整这项工作的方法以实现多日学习和可塑性，例如通过每天提供一致的控制器，随着时间的推移，很可能会带来更好的性能。

长时间、持续的、高性能的运算是成功地将神经假体转化为人类患者的核心。上述性能取决于Velocety-KF和ReFIT-KF使用的三个具体设计选择，以及定义ReFIT-KF的两个关键创新。首先，我们没有使用峰值排序。峰值排序的目标是将由来自许多神经元的动作电位组成的单个通道分离成来自单个神经元的多个峰值活动通道。这种标准做法可以在每个电极上产生更多可解码的运动信息，但需要在几天内跟踪每个分类的动作电位形状，这在最近被证明对许多电极通道来说是极其困难的。为了减少不完善的峰值排序和神经元跟踪可能导致的信号不稳定，我们计算了每个电极的阈值交叉次数，而不是峰值排序(Online Methods)。其次，本文报道的结果来自于神经外科植入后19-53个月（猴子L）和4-21个月（猴子J）的阵列。电极阵列上高度可区分的单个神经元的数量随着时间的推移而趋于减少。然而，剩余的多单元活动通常都有与神经假肢相关的调整。通过使用这些较老的阵列植入，它们具有相对较少的清晰可区分的单个单元，我们证实了基于阈值交叉的活动，连同ReFIT-KF，在阵列植入后数月或数年内提供高性能(图2)。最后，我们使用了一个单一的、相对较短的、50ms的神经整合时间窗，没有额外的时间滞后，不像一些神经假肢设计明确地包含神经数据与更长的历史和额外的滞后（例如，多个100ms的时间箱和多个50毫秒的时间箱，其历史可追溯到1s）。这一选择是基于使用在线假肢模拟器进行的人类实验，以及随后用猴子进行的神经控制实验。两者都表明，由于闭环反馈时间的减少，较短的时间箱更可取。

本研究证明了在线控制视角在开发神经控制算法方面的效用。尽管性能提升最终必须在线验证，但这种观点可以应用于离线仿真研究以检查算法设计决策。然而，与任何仿真研究一样，结果的适用性同时受制于仿真平台的局限性和在开发仿真时所做的设计决策。

这些 ReFIT-KF 神经假体实验的持续性能和稳健性证明了为因神经损伤和疾病而移动和行动能力有限的患者提供功能恢复的潜力。尽管下行通路受到损害，但运动皮层可能基本完好无损，从而使此类技术成为可能。近年来，已经开发了使用各种信号源的大脑接口技术，例如这里描述的皮质内阵列、脑电图和皮质电图。神经假体研究界继续为残疾人创造选择并评估相对风险和收益。在这里，我们研究了闭环神经控制算法的原理设计，从而开发了 ReFIT-KF，并展示了性能和鲁棒性的重大进步。该算法、闭环控制视角和系统设计方法可应用于其他神经假体领域，具有显著提高假体的效益和临床可行性的潜力。