XenC数据选择工具的使用

XenC数据选择工具

1. 系统要求：
   gcc version 4.5.1 or higher

   CMake 2.8.4 or higher

   boost version 1.57.0 or higher

   gzip

2. 编译安装

   解压XenC-master.zip文件

   进入目录，执行cmake ./

   执行make

   成功后会在当前目录下生成XenC的可执行文件，可将其加到环境变量中

3. 使用

   需要文件：

   1. 领域内单语语料（分词后）
   2. 全领域单语语料（分词后）

   执行命令：XenC -s 语言（en英文，zh中文…） -i 领域内单语语料 -o

   全领域单语语料 -m 排序方法（默认2交叉熵，效果优于其他） --mono（指明是单语） --order 几元语言模型（默认4就行）

   生成文件：全领域单语语料打分结果（*.gz）

   解压后使用sort的命令按分数排序即可（分数分布从0到1，越低越好）。

备注