原文发表在:http://paomadeng.javaeye.com/blog/126530
现在中文分词在开源界成为越来越关注的搜索技术,它成为衡量一个搜索引擎好坏的重要指标。
我对Lucene实现的中文分词技术也略有了解,也曾经实现过一个简单的中文分词方案。
现在比较流行的中文分词技术方案主要都集中在词库、正向/逆向搜索上,当然生成索引的时间效率上也是一个关键因素。
普遍的关注点还是集中在搜索过程中的索引技术。其中的技术难点:
1.词库的合理性?词之间的包容性: “中国人民解放军”应该作为几个分词?
2.同义词之间的相关性搜索?
3.同一词在谓词和名词上的不同处理?
…………
我的想法是对内容还是进行单字索引,而在搜索时,对搜索词进行分词处理,然后进行搜索?
呵呵,只是一想,不知道实现起来,性能方面是有问题?
有时间,准备测试一下