weixin_45259560的博客

一种语音摘要方法

在本文中，我们为直接提取语音到语音的摘要提出了一种新颖的体系结构Essumm，它是一个无监督的模型，而无需依赖中间文本。与之前的文本表示的方法不同，我们旨在直接从语音中生成摘要，而无需转录。首先，根据语音信号的声学特征提取一组较小的语音序列。对于每个候选语音段，基于距离的概括置信度得分是为潜在的语音代表度量而设计的。具体来说，我们利用现成的自我监督卷积神经网络来提取原始音频的深层语音特征。我们的方法会自动预测具有目标摘要长度的关键信息的最佳语音段序列。