中文分词适合于网站吗?

原文发布在http://paomadeng.javaeye.com/blog/125838

OSPod.Forum希望能够成为跨数据库的应用产品,因此在全文检索的技术方案上没有选择数据库的全文检索方案,毕竟象MySQL这样的开源数据库或者HSQL这样的袖珍数据要集成全文检索功能还是比较麻烦的。因此通过分析,我们选择了lucene作为全文检索的支持。

        在使用Lucene的过程中,比较难选择的就是分析器。选择Lucene自带的CJKAnalyer?ChineseAnalyer?StandardAnalyer?还是使用带有中文分词的分析器?

        选型评判目标:
 1.支持多语言
 2.性能如何
 3.是结果越多越好?还是把结果缩小在最小范围?
       
 结论:
 1.CJKAnalyer实现非常不错,对中、日、韩支持不错,支持部分中文分词(双字),但是不支持3个以上汉字词组的搜索。
 2.ChineseAnalyer不支持中文分词。
 3.StandardAnalyer,不支持中文分词,在多语言方面支持不错。
 4.中文分词,的确搜索结果精确了,但是在词库方面要求很全面,性能方面、智能化方面都有比较高的要求。可是这是用户需要的结果吗?
 参考百度、Google等大家,最后决定论坛产品是非专业产品,因此搜索出尽可能多的合理结果才是最重要的,因此决定选择StandardAnalyer作为分析器。 

       仅代表个人意见,欢迎大家批评指正。

阅读更多
想对作者说点什么? 我来说一句

Lucene2.1 Source Code,分词源码

2008年09月29日 4.88MB 下载

没有更多推荐了,返回首页

不良信息举报

中文分词适合于网站吗?

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭