IKAnalyzer总结

1、IKAnalyzer是什么?
IKAnalyzer 是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始,IKAnalyzer已经推出 了3个大版本。最初,它是以开源项目 Lucene为应用主体的,结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。

2、为什么要分词?
因为搜索这种东西,不是像字符串查询那样,完全按照关键字去对比。比如有一往篇文章,我们要通过一个关键字来搜索这篇文章的内容。首先,我们要对这个文章建立索引,怎么建立的,就是通过分词来建立的,分好词组以后。再通过关键字与每个分词的索引进行比对,有就是有,没得就找不到。如果分词没做好,比如:
在《地藏经》第十二品《见闻利益品》,说读经的时候、没有记忆力

我们用IK分词,结果如下:

在|地藏经|藏经|第|十二|品|见闻|见|闻|利益|品|说|读经|的|时候|没有|有|记忆力|记忆|力|
如果我们输入“地藏”两个字,那么结果就搜索不出来,所以分词对搜索来说,相当重要。

3、解释一下Lucene还有 IK 要解决一个什么问题,以及大致的原理?
我们传统的数据库是把文本整段存在库里面,当是搜索一个词的时候,它使用这个词去大文本里面去匹配,这个匹配过程速度很慢。Lucene是一个全文搜索引擎,它的思路是倒过来的。它做的事情分成两个阶段。第一阶段是把文章,也就是长文本在存储的时候建索引。建索引的过程要把文本按照词来切分。切分的时候是按词源切分,再把每个词都作为索引,指出词在文章中的位置以及跟哪些文章相关联。当有大量文章进来的时候,你可以想象一下有一个字典,这个字典是按照词来排序,每个词都会记录有哪些文章引用到我了,以及文章的哪些部分。这个索引的过程就是Lucene做的一个存储过程。那在这个存储过程中,对于英文而言基本上按照空格来切分就可以了,但是中文是连续性的,所以计算机就需要一个能够识别中文词汇的程序和算法,这就是中文分词器。分词器在文章进入到数据库的时候,对它进行分词。比如用户输入了“咖啡牛排”,那分词器就要把这个切分成“咖啡”和“牛排”。

4、IKAnalyzer下载地址?
IK Analyzer(http://pan.baidu.com/s/1hssEdog),在Java工程中引入jar包即可。

5、 市面上还有一些其他的分词器,那在 IK 有什么优势和特点呢?
IK 最早的时候侧重于名称的搜索,到后期开始向通用的分词器演化。在 IK 2.0 出来的时候,它的速度应该是比较快的,当时能做到每秒60万汉字的处理速度。再后来就是 IK 的词典也比较有优势,匹配算法比较快。IK 的结构也能让你简单的添加和定制词典。一个词,一个换行这样就能生成一个词典,而其他算法需要有词频度的支持,或者把词典编译成“双数组Trie”结构。到了最新的 IK 2012版本,它的优势还在于有一定的歧义识别功能。举个例子,“质量和服务”。在切分的时候可以是“质量、和、服务”也可以是“质量、和服、务”,那最新版的 IK 是可以识别这样的歧义,目前的测试数据统计可以做到95%的准确率。这个和中科院的分词器(98%)来比还是有差距,但是对于中小规模,或者主要业务不是自然语言处理这样的一个公司来说,它是很好用的,它的词表很好管理。虽然搜狗或者百度有很强大的搜索引擎,但是你要执行它的整套算法是要对大量语料进行训练,这个过程是很漫长的。大部分企业是没有能力去建立这样的词库的。而 IK 的词库管理很简单,你有新词的话就往里面添加,它不需要什么词频度,词性等等复杂的定义,所以用户的入门门槛比较低。它的配置也是几个分词器中最简单的一种,这也是为什么在国内比较容易让大家接受。
6、分词的基本原理?
如果让我自己在看IK分词之前自己写一个分词器,那我会怎么做? 如果我会想到的是:比如对”周末有欧冠决赛”做分词处理,人为的分词是:“周末|有|欧冠|决赛”,那为什么会出现这样的分词效果,首先必须有一个词典,词典中可以标记出“周末”、“欧冠”、“决赛”这些词,因为分词器并不具备人工智能的能力,所以它所做的就是把文本和词典中的词进行比较,按照词典中已有的词进行匹配,匹配完成之后即达到了分词的效果。

将一段文字进行IK分词处理一般经过:词典加载、预处理、分词器分词、歧义处理、善后结尾 五个部分。
具体讲解见:http://www.tuicool.com/articles/3Aviyi

关于IKAnalyzer分词原理与代码分析比较好的文章:
http://3dobe.com/archives/44/

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值