Facebook AI 发布“HuBERT”：一种学习自我监督语音表示的新方法

许多人工智能研究项目一直在努力提高他们仅仅通过倾听和与他人互动来检测和解释语音的能力，就像婴儿学习他们的第一语言一样。这不仅需要评估某人所说的话，还需要从这些话的表达方式中获得各种其他线索，例如说话人识别、情绪、犹豫和打断。此外，人工智能系统必须识别和解释与语音信号重叠的噪音，例如笑声、咳嗽、背景车辆或鸟鸣，才能像人一样完全理解情况。

因此，Facebook AI 发布了 HuBERT，这是一种学习自监督语音表示的新方法，以帮助对音频中这些类型的丰富词汇和非词汇信息进行建模。用于语音表示学习的 HuBERT 匹配或优于用于语音识别、生成和压缩的 SOTA 技术。

该模型通过使用离线 k-means 聚类步骤预测掩蔽音频段的正确聚类来学习口语输入的结构。通过 在聚类和预测过程之间交替，HuBERT 会随着时间的推移改进其学习的离散表示。它简单而稳定。HuBERT 学习的演示文稿质量也不错，可以轻松 集成到各种下游语音应用程序中。

HuBERT 的工作

HuBERT 的灵感来自 Facebook AI 的用于自监督视觉学习的 DeepCluster 方法。为了捕获语音的序列结构， 它使用了序列上的掩码预测损失，例如 Google 的 BERT(来自 Transformers 的双向编码器表示)。它使用离线聚类步骤为 掩码语言模型预训练生成噪声标签 。特别是 HuBERT，它使用掩码连续语音特征来预测指定的集群分配。只有屏蔽区域会受到预测损失的影响，迫使模型学习未屏蔽输入的足够高级表示，以便推断屏蔽输入的目标。

HuBERT 使用 连续输入来训练声学和语言模型。该模型必须首先将未屏蔽的音频输入编码为有意义的连续潜在表示。这些表示映射到传统的声学建模问题。其次，该模型需要学习表示之间的长期时间关系来减少预测误差。

这项工作背后的一个重要动机是 从音频输入到离散目标的k-means映射一致性 的重要性 ，而不仅仅是它们的正确性&