transformer
Transformer是一个sequence to sequence(seq2seq)的模型
输入一个序列,输出一个序列。这两个序列的长度、关系是由模型自己确定的。
為什麼我们不直接先做一个语音辨识,再做一个机器翻译,把语音辨识系统跟机器翻译系统,接起来就直接是语音翻译?
那是因为世界上有7000种语言,这7000种语言中超过半数是没有文字的。
对于这些语言,根本就没有办法做语音辨识。
但我们有没有可能对这些语言,做语音翻译,直接把它翻译成,我们有办法阅读的文字呢?
一个很好的例子是台语的语音辨识,但很多人觉得台语是有文字的
其实台语的文字并没有那么普及
如果你做语音辨识,给机器一段台语,它可能输出是母汤,并不知道输出的是什么
所以,我们期待机器能够做语音翻译,对它说一句台语,就能输出对应意思的中文
我们可以通过训练一个类神经网络,input台语,output中文。
其实这样的资料还是能够收集到的,比如YouTube上的乡土剧