php结合lunece_IKAnalyzer结合Lucene实现中文分词(示例讲解)

1、基本介绍

随着分词在信息检索领域应用的越来越广泛，分词这门技术对大家并不陌生。对于英文分词处理相对简单，经过拆分单词、排斥停止词、提取词干的过程基本就能实现英文分词，单对于中文分词而言，由于语义的复杂导致分词并没英文分词那么简单，一般都是通过相关的分词工具来实现，目前比较常用的有庖丁分词以及IKAnalyzer等。这里我们主要通过一个简单的Demo聊聊IKAnalyzer的基本使用。IKAnalyzer是一个开源的，基于java开发的分词工具包，它独立于Lucene项目，同时提供了Lucene的默认实现。

2、IKAnalyzer结合Lucene实现简单的中文分词

我们通过一个基本的Demo来实践说明，步骤如下：

step1：准备相关的Jar依赖，lucene-core-5.1.0.jar、ik.jar，然后新建项目，引入相关依赖项目结构如下：

IkDemo-src

-con.funnyboy.ik

-IKAnalyzer.cfg.xml

-stopword.dic

-ext.dic

-Reference Libraries

-lucene-core-5.1.0.jar

-ik.jar

IKAnalyzer.cfg.xml：配置扩展词典以及停止词典 内容如下：

IK Analyzer 扩展配置

ext.dic;

stopword.dic;

其中的ext.dic配置自己的扩展字典，stopword.dic配置自己的扩展停止词字典

step2：通过java代码验证测试

public cl