语音识别系列1--语音识别CTC之数据准备

语音识别CTC之数据准备

一、简介

CTC是一种端到端的神经网络训练方法，在语音识别领域应用非常广泛，和传统的语音识别HMM相比，CTC省略了数据对齐，特征选取的过程。传统的HMM在训练神经网络之前需要选择特定的语音特征，比如FBANK、MFCC。而CTC则直接将语音转到频域即可使用，传统的HMM在训练之前需要对数据进行帧对齐，对齐的过程首先要进行HMM-GMM的聚类，并且较小的建模粒度需要做状态的绑定，因为较大的建模粒度效果往往不好。最后使用GMM或者DNN对齐的标签也不是很准确。而端到端的CTC技术正好解决了这个问题，建模粒度更大，HMM-DNN模型用一个DNN模型替代，不需要对齐标签，仅需要整句话的标签即可，语料充足的情况下效果比传统的HMM方法要好。

tensorflow原生支持CTC目标函数，网络结构搭建简单，是一个不错的深度学习工具，我们通过tensorflow训练CTC模型，在3000小时语音数据的基础上，效果达到了字准95%，句准91%的效果，下面我们首先介绍训练过程的数据准备阶段。

 

二、数据格式

输入为kaldi提取的ark文件对应的scp文件，标签文件，输出为准备好的tfrecord文件。

 

scp文件格式如下：

0000000000000000000001 3000h.a