中文分词适合于网站吗?

原创 2007年09月21日 09:47:00

原文发布在http://paomadeng.javaeye.com/blog/125838

OSPod.Forum希望能够成为跨数据库的应用产品,因此在全文检索的技术方案上没有选择数据库的全文检索方案,毕竟象MySQL这样的开源数据库或者HSQL这样的袖珍数据要集成全文检索功能还是比较麻烦的。因此通过分析,我们选择了lucene作为全文检索的支持。

        在使用Lucene的过程中,比较难选择的就是分析器。选择Lucene自带的CJKAnalyer?ChineseAnalyer?StandardAnalyer?还是使用带有中文分词的分析器?

        选型评判目标:
 1.支持多语言
 2.性能如何
 3.是结果越多越好?还是把结果缩小在最小范围?
       
 结论:
 1.CJKAnalyer实现非常不错,对中、日、韩支持不错,支持部分中文分词(双字),但是不支持3个以上汉字词组的搜索。
 2.ChineseAnalyer不支持中文分词。
 3.StandardAnalyer,不支持中文分词,在多语言方面支持不错。
 4.中文分词,的确搜索结果精确了,但是在词库方面要求很全面,性能方面、智能化方面都有比较高的要求。可是这是用户需要的结果吗?
 参考百度、Google等大家,最后决定论坛产品是非专业产品,因此搜索出尽可能多的合理结果才是最重要的,因此决定选择StandardAnalyer作为分析器。 

       仅代表个人意见,欢迎大家批评指正。

相关文章推荐

10个适合于高级Java开发人员的外国网站

下面这些是我收藏的适合高级Java程序员去的网站,这些网站的内容包括了IT新闻、问题解答和职业面试等信息。好网站的核心在于其高质量的内容。在我看来,这些都属于最优秀的网站。我在介绍这些网站的同时也会分...

适合于中小型公司的公司网站

  • 2010年10月31日 20:09
  • 1.67MB
  • 下载

Python分词模块推荐:jieba中文分词

一、结巴中文分词采用的算法 基于Trie树结构实现高效的词图扫描,生成句子中汉字所有可能成词情况所构成的有向无环图(DAG) 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合 ...

java实现中文分词simhash算法

  • 2017年10月12日 20:58
  • 3KB
  • 下载

中文分词-北大常宝宝

  • 2015年10月30日 18:27
  • 1.17MB
  • 下载

R语言︱文本挖掘之中文分词包——Rwordseg包(原理、功能、详解)

笔者寄语:与前面的RsowballC分词不同的地方在于这是一个中文的分词包,简单易懂,分词是一个非常重要的步骤,可以通过一些字典,进行特定分词。大致分析步骤如下: 数据导入——选择分词字典——分词...

中文分词搜索

  • 2016年12月10日 15:34
  • 307KB
  • 下载

Lucene的中文分词方法设计与实现

  • 2012年09月14日 10:35
  • 348KB
  • 下载

中文分词实践(基于R语言)

背景:分析用户在世界杯期间讨论最多的话题。 思路:把用户关于世界杯的帖子拉下来,然后做中文分词+词频统计,最后将统计结果简单做个标签云,效果如下 后续:中文分词是中文信息处理的基础,分词之后,其实还有...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:中文分词适合于网站吗?
举报原因:
原因补充:

(最多只允许输入30个字)