ruby分词

ruby分词

Ruby中文分词器 rmmseg-cpp

rmmseg的 主要问题是性能和内存消耗。用纯ruby编写的rmmseg分词的速度非常慢，而且内存消耗非常惊人，当使用复杂分词算法的时候，内存呈线性上升的现象。 为此rmmseg的作者pluskid再接再厉用C++重写了一遍rmmseg项目，这就是rmmseg-cpp。根据作者自己的简单测试表 明:rmmseg-cpp的性能是rmmseg的400倍之多。

安装方法：gem install pluskid-rmmseg-cpp –source=http://gems.github.com 

rmmseg-cpp和libmmseg目前都可以作为比较好的ruby中文分词程序来使用，他们的性能和内存管理都相当不错，经过我们测试和使用的情况来看，都可以放心在生产环境当中使用。

No related content found.

Article source: http://www.oschina.net/p/rmmseg-cpp

 

 

 

http://www.solopro.cn/index.php/archives/1851

posted on 2011-08-17 21:46  lexus 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/lexus/archive/2011/08/17/2143624.html