An Unsupervised Autoregressive Model for Speech Representation Learning

1. 论文摘要

出发点是为下游任务保留尽可能多的信息，希望学到使用线性分类器就能在下游任务中表现较好的特征，并且可以在多个不同任务中有较好的表现。 不需要音素级别或者字级别的边界标签。在模型的下面层的特征表示主要捕捉说话人识别信息，较上层的特征提供更多的音素信息。
文献综述部分观点：（1）低contrstive loss 与低的线性分类器error 相关。

2. 模型介绍

通过一个自回归模型去预测未来时间步的帧级别的输出，对预测值与实际值之间做L1 loss.

模型是采用多层单向的LSTM网络，网络层与层之间采用残差连接。
CPC的配置中encoder 采用三层全连接接ReLu，context network 保持一致。

cpc 负例取本句效果比全局要好；用context network 输出比全连接输出特征要好。采用APC效果远好于cpc效果，证明它可以提取更好的线性可分特征。