分享IKAnalyzer 3.0 中文分词器

[size=large][b]1.IKAnalyzer3.0介绍[/b][/size]

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。

[size=large][b]1.2IKAnalyzer3.0特性[/b][/size]
[list]
[*]采用了特有的“正向迭代最细粒度切分算法“，具有50万字/秒的高速处理能力。
[*]采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。
[*]优化的词典存储，更小的内存占用。支持用户词典扩展定义
[*]针对Lucene全文检索优化的查询分析器IKQueryParser(作者吐血推荐)；采用歧义分析算法优化查询关键字的搜索排列组合，能极大的提高Lucene检索的命中率。
[/list]


[size=large][b]1.3 分词效果示例[/b][/size]

[b]文本原文1:[/b]
[color=blue]IK-Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版本起， IKAnalyzer已经推出了3个大版本。[/color]
[b]分词结果:[/b]
[color=blue]ik-analyzer | 是 | 一个 | 一 | 个 | 开源 | 的 | 基于 | java | 语言 | 开发 | 的 | 轻量级 | 量级 | 的 | 中文 | 分词 | 工具包 | 工具 | 从 | 2006 | 年 | 12 | 月 | 推出 | 1.0 | 版 | 开始 | ikanalyzer | 已经 | 推出 | 出了 | 3 | 个大 | 个 | 版本[/color]

[b]文本原文2:[/b]
[color=blue]永和服装饰品有限公司[/color]
[b]分词结果:[/b]
[color=blue]永和 | 和服 | 服装 | 装饰品 | 装饰 | 饰品 | 有限 | 公司[/color]
[b]
文本原文3[/b]:
[color=blue]作者博客：linliangyi2007.iteye.com 电子邮件：linliangyi2005@gmail.com[/color]
[b]分词结果:[/b]
[color=blue]作者 | 博客 | linliangyi2007.iteye.com | 2007 | 电子邮件 | 电子 | 邮件 | 地址 | linliangyi2005@gmail.com | 2005[/color]


下载 ：[url=http://ik-analyzer.googlecode.com/files/IKAnalyzer3.1.1Stable_AllInOne.rar]IKAnalyzer3.1.1稳定版完整包.rar[/url]

更多详细请参看[url=http://ik-analyzer.googlecode.com/files/IKAnalyzer%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E5%99%A8V3.1.1%E4%BD%BF%E7%94%A8%E6%89%8B%E5%86%8C.pdf]《IKAnalyzer中文分词器V3.1.1使用手册.pdf》[/url]

或浏览作者博客：[url]http://linliangyi2007.iteye.com/blog/429960[/url]