传统方法的局限性[1]
HMM
Markovian Assumption
p
(
q
t
∣
q
<
t
)
=
p
(
q
t
∣
q
t
−
1
)
p(q_t|q_{<t})=p(q_t|q_{t-1})
p(qt∣q<t)=p(qt∣qt−1)
转移概率只跟前一个时刻有关,无法对长时依赖性建模。
Conditional Independence Assumption
p
(
x
t
∣
x
<
t
,
q
≤
t
)
=
p
(
x
t
∣
q
t
)
p(x_t|x_{<t}, q_{\leq t})=p(x_t|q_t)
p(xt∣x<t,q≤t)=p(xt∣qt)
帧的生成概率只跟当前状态有关,跟历史状态和历史帧无关。
DNN
alignment
DNN的声学模型用来求输出状态对应的后验概率。需要用到GMM的对齐结果,来获得每一帧的label。首先需要GMM的对齐结果比较准确,其次是本身语音的边界不好界定,这样每一帧给一个指定label本身值得商榷。
Conditional Independence Assumption
和HMM类似,有独立性的假设。
Dict
词典和音素本身是handcrafted的
End to End实现方法[2]
end to end的语音识别主要有两种方法来实现
- 基于CTC的训练准则
CTC训练准则的引入抛弃了传统的HMM框架,输出的粒度可以到phone/charactor/word等。但是仍然有输出独立性的假设,使用的时候对于语言模型的依赖性比较强。 - 基于sequence to sequence和attention
虽然这种方式可以学习到word之间的关系,但是毕竟训练语料的transcription有限,所以额外的语言模型使用还是比较有必要。
end to end的语音识别框架在一定程度上减少了传统方法不合实际的假设,但是也存在训练困难的问题,为了取得比较好的效果,需要的训练语料也更多;而基于传统的DNN-HMM hybrid系统的方法可以得到更稳定的性能。
Reference
[1].End-to-End Speech Recognition Models
[2].Deep Speech 2 : End-to-End Speech Recognition in English and Mandarin