paper reading - 02. Implications of shared motor and perceptual activations on the sensorimotor cort

Implications of shared motor and perceptual activations on the sensorimotor cortex for neuroprosthetic decoding

本篇文献我主要关注的地方是不同感知任务再SMC的动态差异以及一些重要的分析方法

1. 检验电极激活响应的方法

Wilcoxon rank-sum tests
Wilcoxon 秩和检验（Wilcoxon Rank-Sum Test），需先明确其核心定位：它是一种常用的非参数统计检验方法，主要用于比较两个独立样本组的总体分布是否存在显著差异，无需假设数据满足正态分布（这是它与参数检验如 t 检验的关键区别）。

作者在研究中通过 “数据预处理（z-score 标准化）→ 定义关键时间窗口→ 实施 Wilcoxon 秩和检验→ 多重比较校正” 的完整流程，检验每个电极在不同任务（尝试说话、阅读、倾听）中的激活响应。
其中检测的时间窗的定义是：[0,1]s for attempted speech and reading and [0.5,1]s for listening，baseline都选择任务开始前的窗口

2. reading和listening是否会对attempted speech产生影响？

实验设计

1. baseline： 实验块（block）中无任何感知内容（无阅读、无聆听），直接尝试读词，目的是作为 “无干扰” 的性能基准，对比其他干扰条件
2. 阅读+speech：参与者先在另一台笔记本电脑上阅读文章段落，再进行目标语音尝试，目的是测试 “阅读行为” 是否干扰神经假体对 “语音尝试” 的识别
3. listening+speech：实验块全程播放播客（podcast），参与者先聆听播客，再进行目标语音尝试，目的是目的是测试 “聆听行为” 是否干扰神经假体对 “语音尝试” 的识别

实验算法流程

每个实验块（block）的单试次（trial）遵循固定流程，确保操作一致性：

呈现目标词：显示器上先展示一个 “目标词”；
语音尝试：参与者按自己的节奏尝试说出这个目标词；
系统处理：神经假体系统对 “语音尝试” 进行三步操作 ——检测（detect）（判断是否有 “语音尝试” 发生）→ 验证（verify）（确认检测到的信号是 “有效语音相关信号”）→ 分类（classify）（识别具体是哪个目标词）；
进入下一试次：完成上述步骤后，实验进入下一个试次，重复流程。

分析方法

1. 性能指标定义 + 统计检验：2 个核心性能指标（量化系统准确性）
   指标设计聚焦于神经假体的 “实用性”—— 既要少漏检（高真阳性），又要少误检（低假阳性）：

   • 真阳性率（True Positive Rate, TPR）
     定义：真正的语音尝试中，被系统成功检测到的比例（公式：TPR = 被检测到的真语音尝试数 / 总真语音尝试数）。
     意义：衡量系统 “不漏检” 的能力 ——TPR 越高，说明用户的真实语音尝试越不容易被系统忽略，实用性越强。
     实验结果：Bravo-1 的整体 TPR 为 95.6%，Bravo-3 为 98.0%，且 “阅读 / 聆听干扰” 未显著降低两人的 TPR（说明干扰不影响系统对真语音的检测）。
   • 假阳性率（False Positive Rate, FPR）
     定义：被系统检测到的 “事件” 中，不属于任何真实语音尝试的比例（公式：FPR = 误检的非语音事件数 / 系统检测到的总事件数）。
     意义：衡量系统 “不误检” 的能力 ——FPR 越低，说明系统越不会把 “非语音行为（如笑、非自愿发声）” 误判为 “语音尝试”，避免无效输出。
     实验结果：Bravo-1 的整体 FPR 仅 1.15%（仅 1 次假阳性来自 “笑”，且 31 次非自愿非语音发声中仅 1 次误检）；Bravo-3 的 FPR 为 0.0%（无任何误检），且 “阅读 / 聆听干扰” 未显著提高两人的 FPR（说明干扰不增加系统的误检率）。

2. 统计检验方法（验证结果可靠性）
   由于实验中 “试次数量较少”（文本提到 “online blocks” 试次少，此处评估 TPR/FPR 的场景同理），选择了适合 “小样本、分类数据（如‘检测成功 / 失败’‘真阳性 / 假阳性’）” 的Fisher 精确检验（Fisher Exact Test）：

   检验目的：判断 “不同实验条件（基线 vs 阅读 vs 聆听）” 对 “TPR/FPR” 是否有显著影响。
   检验标准：设定显著性水平为 P > 0.01（即若 P 值大于 0.01，则认为 “条件变化对指标无显著影响”）。
   实验结论：两种指标（TPR/FPR）在不同条件下均无显著差异（P > 0.01），证明神经假体在 “阅读 / 聆听干扰” 下仍能稳定工作，对 “目标语音意图” 的特异性强。

运动皮层（SMC）上阅读、聆听、尝试说话三种任务的共享激活特征及任务间差异

分析方法

1. 电极激活显著性检验（基础方法）

• 检验指标：高频 gamma 活动（HGA，反映神经激活的核心指标）。
• 对比基准：每个电极在 “三种任务中的 HGA” 与 “试次前静息状态（pre-trial resting activity）的 HGA” 对比，判断任务是否引发显著激活。
• 统计检验：采用单侧 Wilcoxon 秩和检验（one-sided Wilcoxon rank-sum tests）—— 选择 “单侧” 是因为预设 “任务会引发 HGA 升高”（而非降低），检验效率更高；非参数检验适配脑电数据可能的非正态分布。
• 多重比较校正：根据参与者电极数量差异，分别进行 “128 重（Bravo-1）” 或 “253 重（Bravo-3）Holm-Bonferroni 校正”，控制假阳性率（确保激活结论可靠）。

2. 结果分析

• 可视化每个任务的显著电极空间分布，得到图A和B，观察共享电极

  • 作者得到的结论是： “shared” electrodes activated across reading, listening, and attempted speech, localized primarily to the midPrCG (A）；shared electrodes did not overlap with electrodes that encoded attempted vocal-tract (speech articulatory) or hand movements (B).

• 可视化图 2C、D、E 是 “任务间电极响应模式的散点图”，核心通过 “检验统计量对比 + 显著性阈值判断 + unity 线（y=x）参考” 推导结论

  • 作者得到的结论: no electrodes were responsive during reading and not also during attempted speech (Fig. 2C). A majority of reading electrodes were also responsive during listening (Fig. 2D). Of note, we observed fewer electrodes responsive to listening in the midPrCG of Bravo-1 than Bravo-3, aligning with variability seen across individuals [39]. As expected, listening responses were also found in the temporal lobe [40–42] and overlapped strongly with attempted-speech but less so with reading (Fig. 2D-E).

  (unity 线（y=x）：代表 “电极在两种任务中的激活显著性完全相同”—— 若点落在 unity 线上方，说明电极对 y 轴任务的激活更显著；若落在下方，说明对 x 轴任务的激活更显著。
  垂直虚线：代表 “统计显著性的粗略阈值”（与图 2A 的阈值一致）—— 只有统计量超过该线的电极，才被认为 “对对应任务有显著激活”。)

三种任务上共享电极的spectrotemporal responses差异（共享电极对三种任务的响应模式是否相同？）

上一步已经得到了每个任务的显著电极，以及任务间的共享电极，那不同任务的spectrotemporal responses在这些共享电极上是否存在差异？

1. 作者直接统计三种任务的HG活动得到图F，对比强度和时间
   • 结论：三种任务在共享电极上的 HGA 强度与时间模式存在显著差异，HGA 强度排序：在共享电极上，尝试说话引发的 HGA 峰值最高，其次是阅读，聆听引发的 HGA 峰值最低；HGA 时间差异：共享电极在 “尝试说话” 任务中，在任务开始前（go-cue 前）就已出现 HGA 升高；而阅读和聆听任务的 HGA 升高仅在任务开始后出现
     
2. 收集低频活动信号
   • 结论：三种任务在共享电极上的低频活动（theta、beta 波）抑制程度存在显著差异。尝试说话的低频抑制最强：与阅读和聆听相比，尝试说话时共享电极的theta 波（5-12 Hz）和 beta 波（20-30 Hz）功率显著更低（即去同步化更明显，Fig. 2G）。
   • 这一结果与已有文献结论一致：
     健康人的 “主动运动（如说话的言语运动）” 会伴随运动皮层低频活动的去同步化（文献 [43,44]）—— 因为主动运动需要皮层神经元更灵活地编码运动指令，低频同步化会限制这种灵活性；
     “感知性言语（如聆听）” 则伴随低频活动的同步化（文献 [45,46]）—— 因为被动感知更依赖稳定的神经信号传递，而非灵活的运动编码。

这些解码模型是否可以跨任务推广？（共享电极在不同任务的神经表征是否可解码且共享？）

实验设计

1. 任务内解码：
   • 针对三种任务（尝试说话、阅读、聆听），分别在不同解剖区域训练 “10 词分类器”（输入为皮层活动特征，输出为对应词汇）。
   • 用双侧 Wilcoxon 符号秩检验（two-sided Wilcoxon signed-rank test）验证解码准确率是否显著高于随机水平（10%，因 10 词词汇表的随机概率为 1/10）。
   • 对 12 次检验（不同任务 × 不同区域组合）进行12 重 Holm-Bonferroni 校正，控制多重比较的假阳性。
2. 跨任务泛化检验：

• 用 “尝试说话” 数据训练的分类器，预测 “聆听” 任务的词汇（反之亦然），评估模型准确率（泛化能力）。
• 计算 “尝试说话解码” 与 “聆听解码” 中电极贡献度的相关性（斯皮尔曼相关 + 置换检验），判断神经表征是否一致。

结论

• 任务内解码能力存在显著差异
  • 阅读：所有覆盖的解剖区域中，阅读内容的解码准确率均未超过随机水平（无法从 ECoG 信号中识别阅读的具体词汇）。
  • 聆听：仅在 Bravo-3 的颞叶（听觉加工核心区域）可解码出聆听的词汇，其他区域无法解码。
  • 尝试说话：在所有解剖区域（包括颞叶）均能准确解码，说明尝试说话的神经信号在全脑多个区域有清晰的词汇特异性表征。
    
• 跨任务泛化能力差，神经表征不共享
  • 用 “尝试说话” 训练的模型无法有效解码 “聆听” 内容（反之亦然），模型跨任务泛化准确率低（图 3B）。
  • 解码 “尝试说话” 与解码 “聆听” 时，电极的贡献度无显著相关性（P=0.74），说明两种任务依赖的神经群体（或信号模式）不同（图 3C）。
    

证明了：① 尝试说话的词汇内容在多个脑区可稳定解码，而阅读和聆听的解码能力有限；② 不同任务的神经表征不共享，模型无法跨任务泛化。这既揭示了语言相关任务神经机制的特异性，也为神经假体的实用化提供了关键证据 —— 其能精准识别 “意图说话” 内容，而不受 “聆听 / 阅读” 干扰。

证明假设：共享电极在 “语音运动规划” 中发挥特异性作用

作者提出假设的支撑基础是：共享电极上的 HGA 强度与时间模式图中，可以看到“attempt speech”的任务提示（go-cue）出现前，就已出现高于基线的 HGA（高频 gamma 活动）—— 这符合 “运动规划活动” 的关键特征（运动执行前需提前调动皮层准备），并且前面的结果（2B）可以看到共享电极与 “编码具体发音器官运动（如舌、唇运动）的电极” 无重叠。

所以作者提出核心假设：定位在中央前回中部（midPrCG）的 “共享电极”（对尝试说话、阅读、聆听均有激活），其核心功能是参与 “语音运动规划”（而非具体的语音发音执行）

实验设计

作者做了两部分的实验，先是分时间窗口训练分类器，再使用移除电极来证明mPrCG解刨区域的重要性。

1. 划分 “尝试说话” 的三个连续时间窗口，分窗口训练 “尝试说话” 的词汇分类器

   • 围绕 “任务提示（go-cue，即开始说话的信号）”，将 “尝试说话” 过程拆分为三个时间窗口，聚焦不同阶段的神经功能：
     
   • 针对每个时间窗口，分别用 “共享电极” 和 “发音编码电极” 的 ECoG 信号，训练 “10 词词汇分类器”（输入为脑电特征，输出为对应的目标词）；
   • 核心评估指标：电极对分类器解码准确率的 “贡献度”—— 贡献度越高，说明该电极在对应时间窗口的神经信号对 “识别词汇” 越关键，进而反映其在该阶段的功能重要性。

2. 电极功能剥夺实验（对比三种条件）

   • 为进一步验证 “共享电极对规划的必要性” 和 “发音编码电极对执行的必要性”，设计三种 “电极使用条件”，对比分类器准确率的变化（本质是 “剥夺某类电极后，观察任务表现是否下降”）：
     

结论

• 结果 1：共享电极在 “运动规划阶段（go-cue 前）” 贡献度最高

  • 在 “仅 go-cue 前” 的窗口中，中央前回中部（midPrCG）的共享电极对解码准确率的贡献度最高—— 说明此时共享电极的神经信号是 “识别即将要说的词汇” 的关键，直接支持其参与 “语音运动规划”；
  • 而 “编码具体发音运动的电极”（位于中央沟附近），在 “仅 go-cue 后” 的窗口贡献度最高 —— 说明其负责 “运动执行阶段” 的信号编码（控制发音器官动作）（图 4D、E）。
    

• 结果 2：共享电极的功能具有 “跨窗口持续性”

  • 共享电极不仅在 “go-cue 前” 贡献显著，其对解码的贡献在 “go-cue 中” 和 “go-cue 后” 窗口也保持稳定；
  • 反观发音编码电极，仅在 “go-cue 后” 贡献显著，其他窗口贡献极低 —— 这进一步说明：共享电极参与 “从规划到执行” 的全程语音加工，而发音编码电极仅负责 “执行” 这一特定阶段。

• 结果 3：电极剥夺实验验证 “功能特异性”

  • 当 “剥夺共享电极”（无共享电极条件）时，go-cue 前窗口的解码准确率显著下降（达到最低）—— 证明共享电极是 “运动规划阶段” 的必需电极，无其则无法有效准备语音运动；
  • 当 “剥夺发音编码电极”（无发音编码电极条件）时，go-cue 后窗口的解码准确率显著下降（达到最低）—— 证明发音编码电极是 “运动执行阶段” 的必需电极，无其则无法完成具体发音动作（图 4F）。
    

思考

本文献主要是验证了SMC中的共享知觉和运动表征对两名瘫痪患者的语音神经假体的影响，因为作者发现SMC在三类任务（reading，listening，speech）中有共享的神经群体，所以好奇既然三种任务都会激活这些电极，那么是否阅读或者听力会对语音神经假体的解码性能产生影响（结论是基本不会）。在实验中对共享电极在不同任务上的表现进行分析，无论是分析erp，还是使用分类器，都可以证明共享电极对于三类任务编码的内容是不同的，即这些神经群体对知觉任务和speech是有区分性的。且最后作者也证明了mPrCG是参与运动规划而非运动执行。

本文献中使用的方法虽然简单，但是实验设计非常具有参考意义，明确问题，使用简单的方法就可以得出想要的答案，反观我自己的分析，使用了很多方法，但似乎都没有得到想要的结果，最重要的就是没有明确问题就开始进行实验分析，这样往往很难得到想要的结果！

对我的课题启发：是否三种任务在多频段上有不同的时空差异，可以先挑选显著电极，再比较三种任务电极在不同判断的空间分布差异；然后可以对不同解剖学区域的电极分别可视化平均erp，比较时间和power差异；然后可以类比作者的实验，找出三种任务在每一个频段上的共享电极，不同频段间对比共享电极差异。这样也可以发现一些频段多层级差异。可视化方法也可以参考作者的任务间电极响应模式的散点图，因为脑表面可视化的图总是很大，使用散点图可以两两比较不同任务的共享电极差异了。