分布式搜索elasticsearch高级配置之（三）----------中文分词集成

elasticsearch官方只提供smartcn这个中文分词插件，效果不是很好，好在国内有medcl大神（国内最早研究es的人之一）写的两个中文分词插件，一个是ik的，一个是mmseg的，下面分别介绍下两者的用法，其实都差不多的，先安装插件，命令行：
安装ik插件：

[plain]  view plain  copy

1. plugin -install medcl/elasticsearch-analysis-ik/1.1.0  

下载ik相关配置词典文件到config目录

[plain]  view plain  copy

1. cd config  
2. wget http://github.com/downloads/medcl/elasticsearch-analysis-ik/ik.zip --no-check-certificate  
3. unzip ik.zip  
4. rm ik.zip  

安装mmseg插件：

[plain]  view plain  copy

1. bin/plugin -install medcl/elasticsearch-analysis-mmseg/1.1.0  

下载相关配置词典文件到config目录

[plain]  view plain  copy

1. cd config  
2. wget http://github.com/downloads/medcl/elasticsearch-analysis-mmseg/mmseg.zip --no-check-certificate  
3. unzip mmseg.zip  
4. rm mmseg.zip  

分词配置

ik分词配置，在elasticsearch.yml文件中加上

[html]  view plain  copy

1. index:  
2.   analysis:                     
3.     analyzer:        
4.       ik:  
5.           alias: [ik_analyzer]  
6.           type: org.elasticsearch.index.analysis.IkAnalyzerProvider  

或

[html]  view plain  copy

1. index.analysis.analyzer.ik.type : “ik”  

这两句的意义相同
mmseg分词配置，也是在在elasticsearch.yml文件中

[html]  view plain  copy

1. index:  
2.   analysis:  
3.     analyzer:  
4.       mmseg:  
5.           alias: [news_analyzer, mmseg_analyzer]  
6.           type: org.elasticsearch.index.analysis.MMsegAnalyzerProvider  

或

[html]  view plain  copy

1. index.analysis.analyzer.default.type : "mmseg"  

mmseg分词还有些更加个性化的参数设置如下

[html]  view plain  copy

1. index:  
2.   analysis:  
3.     tokenizer:  
4.       mmseg_maxword:  
5.           type: mmseg  
6.           seg_type: "max_word"  
7.       mmseg_complex:  
8.           type: mmseg  
9.           seg_type: "complex"  
10.       mmseg_simple:  
11.           type: mmseg  
12.           seg_type: "simple"  

这样配置完后插件安装完成，启动es就会加载插件。

定义mapping

在添加索引的mapping时就可以这样定义分词器

[plain]  view plain  copy

1. {  
2.    "page":{  
3.       "properties":{  
4.          "title":{  
5.             "type":"string",  
6.             "indexAnalyzer":"ik",  
7.             "searchAnalyzer":"ik"  
8.          },  
9.          "content":{  
10.             "type":"string",  
11.             "indexAnalyzer":"ik",  
12.             "searchAnalyzer":"ik"  
13.          }  
14.       }  
15.    }  
16. }  

indexAnalyzer为索引时使用的分词器，searchAnalyzer为搜索时使用的分词器。

Java mapping代码如下：

[java]  view plain  copy

1. XContentBuilder content = XContentFactory.jsonBuilder().startObject()  
2.         .startObject("page")  
3.           .startObject("properties")         
4.             .startObject("title")  
5.               .field("type", "string")             
6.               .field("indexAnalyzer", "ik")  
7.               .field("searchAnalyzer", "ik")  
8.             .endObject()   
9.             .startObject("code")  
10.               .field("type", "string")           
11.               .field("indexAnalyzer", "ik")  
12.               .field("searchAnalyzer", "ik")  
13.             .endObject()       
14.           .endObject()  
15.          .endObject()  
16.        .endObject()  

定义完后操作索引就会以指定的分词器来进行分词。

测试分词可用调用下面api，注意indexname为索引名，随便指定一个索引就行了
http://localhost:9200/indexname/_analyze?analyzer=ik&text=测试elasticsearch分词器

附：

ik分词插件项目地址：https://github.com/medcl/elasticsearch-analysis-ik

mmseg分词插件项目地址：https://github.com/medcl/elasticsearch-analysis-mmseg

如果觉得配置麻烦，也可以下载个配置好的es版本，地址如下：https://github.com/medcl/elasticsearch-rtf

本文地址：http://blog.csdn.NET/laigood12345/article/details/7795115
参考资料：http://www.searchtech.pro/articles/2013/02/18/1361190717673.html