最近做的几个项目

1. 把libmmseg分词加了与lucene吻合的java接口,分词速度与c++版本接近, 已经和作者联系了.会在近期开源出去.

 

 

2. 用hadoop的mapreduce模型做了一个自动识别行业词的程序, 从算法上降低了计算量,而且分布式的话会更加快.

我用一份从51job, 智联招聘, 中华英才网等400多家招聘网站抓取的311万条职位语料做测试,5, 4元词词频在1000以上的正确率达95%以上,3元的差了点在60左右(没仔细统计,估计去掉功能字会好些), 2元的99%以上. 

这个东东对做行业词库比较有用, 可以增加中文分词器的精度.  这段代码也会近期开源, 希望有大量语料的兄弟能给些过来测试. 我会考虑更好的算法. :) 

 

很奇怪的是4元词词频最高的是"项目经理",看来这年头管理的人员貌似很多哦

不过5元的词频最高前几位都是"**工程师",不管什么都是工程师了, 名称挺cooool的,实际上就是打杂的小兵~~

可想而知3元最多的是"工程师"了.

我已经去了高元向低元词的统计重叠,这个统计没错