2012年03月26日

利用对数线性模型进行词对齐训练的整个过程：

1、语料预处理

用python解析xml，生成src, trg, ref, srcTest, trgTest 和 refTest。

注意：由于本人是在linux下进行的预处理，所以要先将所有语料用notepad转换为与我的linux系统的编码相同（如uft-8），再将xml用dos2unix命令进行转换，，最后再用python解析，解析出来之后再把英文语料小写化。（这一步我是在自己的虚拟机上跑的）

 

2、训练

首先，用预处理后的语料跑GIZA++，得到data目录下面的文件（注意，如果要使用词根化的文本进行训练，则需要先将词根化后的文本经过GIZA++进行训练）（我是在160服务器上跑的）

然后，换掉旧的data目录，修改Vigne.ini

最后，利用src, trg, ref三个文件，放在run所在目录下，运行run，得到结果。(这一步我是在曙光机上跑的)

注意：如果是在Linux上运行，则要把Vigne.ini，run，minimum..等文件用dos2unix 转换一下

 

结果：

采用新方法：stem，提升7%

采用新特征：pos，提升8%