大鹏博客

ICTCLAS是中文分词的开源系统中，使用最广泛的系统，很多做中文相关的翻译的翻译系统都会将系统引入到自己的翻译系统中，刚开始可能系统运行没有问题，但是过一段时间后，再次运行同样的系统，ICTCLAS模块就会报各种错误，究其原因，笔者以为是ICTCLAS系统中的一些文件可能有时间限制，所以过一段时间就会过期，或者是ICTCLAS本身具有的其他bug，因此一段时间后造成各种各样的错误。 其解决方案也很简单，就是重新下载同版本的ICTCLA,替换原来的就能编译通过了。

做自然语言处理相关科研的过程中，训练集，开发集和测试集是非常常见的基础性概念，对它们有清楚的理解是做科研的基础，本文给出三者的概念以及它们之间的关系。

神经网络系统应用大量的科学计算，在开源的基于神经网络的翻译系统dl4mt中使用了numpy库。 源码中使用了Numpy的一些函数，本文对此进行解析。

由于搭建Moses环境需要多个模块之间相互调用，模块之间存在版本搭配的问题，笔者也尝试过，不同的模块版本相互搭配的话造成编译失败的可能性非常大，经过不到一周的坚持，总算搭建成功，下面是我成功搭建的各个模块的具体版本，笔者建议大家使用相同的版本。PS：本人是在新安装的系统下搭建的，测试是汉语->英语的翻译^_^