多模态语音增强：利用突发传播机制

近年来，语音增强技术取得了显著进展，但现有的方法往往忽略了人类大脑在处理声音信息时的复杂机制。本文将介绍一项名为MBURST的全新多模态语音增强方法，该方法借鉴了神经科学领域关于大脑皮层锥体细胞和其它脑区最新发现，并利用突发传播机制来解决语音增强中的信度分配问题。

突发传播机制：模仿大脑工作原理

MBURST的灵感来源于大脑神经元之间的突发传播现象。与传统的反向传播算法不同，突发传播机制更符合生物学原理，它通过以下几个关键要素来实现更有效的信度分配：

• 反馈调节可塑性： 突发传播机制允许通过反馈信号来调节突触的可塑性，即改变神经元之间的连接强度。这种机制可以根据声音信号的质量和视觉信息的可靠性来动态调整学习过程，从而更准确地识别和增强语音信息。
• 多路复用反馈和前馈信息： 突发传播机制通过不同的权重连接将反馈和前馈信息多路复用到不同层级的神经元网络中，这使得模型能够更好地整合来自不同来源的信息，从而提高语音增强效果。
• 近似反馈和前馈连接： 突发传播机制通过近似反馈和前馈连接来简化模型的计算过程，同时保持较高的精度。
• 线性化反馈信号： 突发传播机制通过线性化反馈信号来简化模型的训练过程，并提高模型的鲁棒性。

MBURST的优势：更精准、更节能

MBURST利用突发传播机制，可以学习噪声信号和视觉刺激之间的相关性，从而识别并增强语音信息，同时抑制噪声。研究人员在Grid Corpus和CHiME3数据集上进行了实验，结果表明MBURST可以生成与基于反向传播的多模态基线方法相似的掩码重建结果，同时显著降低神经元放电率，最高可降低70%。这意味着MBURST在实现高精度语音增强的同时，还能有效降低能源消耗，使其更适合于嵌入式系统，例如助听器等。

未来展望

MBURST的出现为语音增强技术开辟了新的方向，它将神经科学领域的最新研究成果应用于机器学习，为构建更精准、更节能的语音增强模型提供了新的思路。未来，研究人员将继续探索突发传播机制在语音增强领域的应用，并致力于开发更强大、更智能的语音增强系统。

参考文献

• Raza, M., Passos, L. A., Khubaib, A., & Adeel, A. (2022). Multimodal Speech Enhancement Using Burst Propagation. arXiv preprint arXiv:2209.03275.

---