02-NLP-04基于统计的翻译系统-02词对齐

www.NiuTrans.com

IBM的思路：EM算法。

由于语序问题肯定不能一个个词直接翻译。因此需要找到内在的词对齐的方式。

在IBM出现之前，采用过很多句法上的努力。例如利用语法syntax分析（现在已经不怎么用）。因为当句子很长的、表达方式越来越多元化的时候，如果想要通过直接归纳出来一个固定模式的方法效果并不好。

IBM提出直接用统计的方法来实现，直接找到词与词之间的对应关系。因此，当你送入大量语料库的时候，机器进行观察，很多句话里，都有中文中出现某词的时候英语中一定会出现另外一个词。

采用共现（共同出现）来分析：

 

 

 

 

 

 

 

计算机在它的语料上没能找出今天和today之间的双向对应（是因为本例中自己的问题）。

由于是基于统计的，类似于无监督学习。

 所有的ML算法中采用的训练数据都是平行语料，都是不跨行的。

转载于:https://www.cnblogs.com/Josie-chen/p/9134295.html