在构建双语统计翻译系统前，数据预处理是关键步骤，包括中文和英文的分词处理。中文分词常借助工具如ICTCLAS，或采用正向最大匹配法，特殊类型如数字、日期、时间、网址需泛化处理。英文处理涉及大小写转换、句尾处理和不可枚举类型识别。预处理确保了双语数据的一致性和泛化效果，有利于后续词对齐及规则抽取。
目前有如之前基于统计的开源翻译系统介绍中提到的许多开源统计翻译系统，在由原始平行语料到形成最后的翻译系统的整个过程中，它们有一些相同的处理步骤，从这次的文章开始，陆续介绍几个最重要的过程做法及其意义。
一般在我们得到双语平行语料之后，在构建双语统计翻译系统之前，都会有一个双语数据预处理的过程，为后续例如词对齐处理提供分好词且格式恰当的双语数据。这里以汉英双语数据举例。
在中英翻译系统构建过程中，对于中文和英文的数据预处理，方式是不一样的。
1）中文分词处理
之前提到了，这一步可以使用中科院分词系统ICTCLAS完成，如果不使用这些附
最低0.47元/天 解锁文章
扫一扫
2422
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
