Lucene的基本使用之Analyzer分词器

提供分词算法，可以把文档中的数据按照算法分词

这些分词器，并没有合适的中文分词器，因此一般我们会用第三方提供的分词器：

一般我们用IK分词器。

1.1.1.1、IK分词器

官网：https://code.google.com/p/ik-analyzer/

l 概述

林良益

IK分词器官方版本是不支持Lucene4.X的，有人基于IK的源码做了改造，支持了Lucene4.X：

1.1.1.2、基本使用

引入IK分词器的依赖：

[AppleScript] 纯文本查看 复制代码

<span style="color:#363636"><!-- 引入IK分词器 -->

<dependency>

<groupId>com.janeluo</groupId>

<artifactId>ikanalyzer</artifactId>

<version>2012_u6</version>

</dependency></span>

使用IK分词器，改造程序：

中文分词更专业：

1.1.1.3、自定义词库

扩展词典（新创建词功能）： 有些词IK分词器不识别 例如：“传智播客”，“碉堡了”

停用词典（停用某些词功能）： 有些词不需要建立索引  例如：“哦”，“啊”，“的”

IK分词器的词库有限，新增加的词条可以通过配置文件添加到IK的词库中，也可以把一些不用的词条去除：

扩展词典：用来引入一些自定义的新词

停止词典：用来停用一些不必要的词条

结果：分词中，加入了我们新的词，被停用的词语没有被分词：