关闭

是先对搜索词进行中文分词呢?还是在搜索过程中进行中文分词?

416人阅读 评论(0) 收藏 举报

原文发表在:http://paomadeng.javaeye.com/blog/126530

 

现在中文分词在开源界成为越来越关注的搜索技术,它成为衡量一个搜索引擎好坏的重要指标。

我对Lucene实现的中文分词技术也略有了解,也曾经实现过一个简单的中文分词方案。
现在比较流行的中文分词技术方案主要都集中在词库、正向/逆向搜索上,当然生成索引的时间效率上也是一个关键因素。
普遍的关注点还是集中在搜索过程中的索引技术。其中的技术难点:

1.词库的合理性?词之间的包容性: “中国人民解放军”应该作为几个分词?
2.同义词之间的相关性搜索?
3.同一词在谓词和名词上的不同处理?
…………

我的想法是对内容还是进行单字索引,而在搜索时,对搜索词进行分词处理,然后进行搜索?

呵呵,只是一想,不知道实现起来,性能方面是有问题?

有时间,准备测试一下

 
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:29416次
    • 积分:462
    • 等级:
    • 排名:千里之外
    • 原创:14篇
    • 转载:5篇
    • 译文:0篇
    • 评论:9条
    最新评论