关闭

中文分词适合于网站吗?

414人阅读 评论(0) 收藏 举报

原文发布在http://paomadeng.javaeye.com/blog/125838

OSPod.Forum希望能够成为跨数据库的应用产品,因此在全文检索的技术方案上没有选择数据库的全文检索方案,毕竟象MySQL这样的开源数据库或者HSQL这样的袖珍数据要集成全文检索功能还是比较麻烦的。因此通过分析,我们选择了lucene作为全文检索的支持。

        在使用Lucene的过程中,比较难选择的就是分析器。选择Lucene自带的CJKAnalyer?ChineseAnalyer?StandardAnalyer?还是使用带有中文分词的分析器?

        选型评判目标:
 1.支持多语言
 2.性能如何
 3.是结果越多越好?还是把结果缩小在最小范围?
       
 结论:
 1.CJKAnalyer实现非常不错,对中、日、韩支持不错,支持部分中文分词(双字),但是不支持3个以上汉字词组的搜索。
 2.ChineseAnalyer不支持中文分词。
 3.StandardAnalyer,不支持中文分词,在多语言方面支持不错。
 4.中文分词,的确搜索结果精确了,但是在词库方面要求很全面,性能方面、智能化方面都有比较高的要求。可是这是用户需要的结果吗?
 参考百度、Google等大家,最后决定论坛产品是非专业产品,因此搜索出尽可能多的合理结果才是最重要的,因此决定选择StandardAnalyer作为分析器。 

       仅代表个人意见,欢迎大家批评指正。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:29790次
    • 积分:465
    • 等级:
    • 排名:千里之外
    • 原创:14篇
    • 转载:5篇
    • 译文:0篇
    • 评论:9条
    最新评论