ElasticSearch学习目录:
标准分词于IK分词器的对比
使用标准分词器查询中文:
请求 :GET http://localhost:9200/_analyze?analyzer=standard&pretty=true&text=这是一段内容
结果:
使用标准分词器显然得不到我们需要的分词效果,这样的话就需要对中文支持良好的分析器的支持,支持中文分词的分词器有很多,我们这里使用的是IK分词器:
请求:GET http://localhost:9200/_analyze?analyzer=ik_smart&pretty=true&text=这是一段内容
IK分词器简介
IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始,IKAnalyzer已经推出 了3个大版本。最初,它是以开源项目Lucene为应用主体的,结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。
IK分词器3.0的特性如下:
- 1. 采用了特有的“正向迭代最细粒度切分算法,具有60万字/秒的高速处理能力。
- 2. 采用了多子处理器分析模式,支持:英文字母(IP地址、Email、URL)、数字(日期,常用中文数量词,罗马数字,科学计数法),中文词汇(姓名、地名处理)等分词处理。
- 3. 对中英联合支持不是很好,在这方面的处理比较麻烦.需再做一次查询,同时是支持个人词条的优化的词典存储,更小的内存占用。
- 4. 支持用户词典扩展定义。
- 5. 针对Lucene全文检索优化的查询分析器IKQueryParser;采用歧义分析算法优化查询关键字的搜索排列组合,能极大的提高Lucene检索的命中率。`
ElasticSearch集成IK分词器
IK分词器的安装
1)下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases
2)解压,将解压后的elasticsearch文件夹拷贝到elasticsearch\plugins下,并重命名文件夹为analysis-ik
3)重新启动ElasticSearch,即可加载IK分词器
IK分词器测试
IK提供了两个分词算法ik_smart 和 ik_max_word,其中 ik_smart 为最少切分,ik_max_word为最细粒度划分
1)最小切分:在浏览器地址栏输入地址
请求: GET http://localhost:9200/_analyze?analyzer=ik_smart&pretty=true&text=IKAnalyzer是一个中文分词工具包
{
"tokens": [
{
"token": "ikanalyzer",
"start_offset": 0,
"end_offset": 10,
"type": "ENGLISH",
"position": 0
},
{
"token": "是",
"start_offset": 10,
"end_offset": 11,
"type": "CN_CHAR",
"position": 1
},
{
"token": "一个",
"start_offset": 11,
"end_offset": 13,
"type": "CN_WORD",
"position": 2
},
{
"token": "中文",
"start_offset": 13,
"end_offset": 15,
"type": "CN_WORD",
"position": 3
},
{
"token": "分词",
"start_offset": 15,
"end_offset": 17,
"type": "CN_WORD",
"position": 4
},
{
"token": "工具包",
"start_offset": 17,
"end_offset": 20,
"type": "CN_WORD",
"position": 5
}
]
}
2)最细切分:在浏览器地址栏输入地址
请求:GET http://localhost:9200/_analyze?analyzer=ik_max_word&pretty=true&text=IKAnalyzer是一个中文分词工具包
{
"tokens": [
{
"token": "ikanalyzer",
"start_offset": 0,
"end_offset": 10,
"type": "ENGLISH",
"position": 0
},
{
"token": "是",
"start_offset": 10,
"end_offset": 11,
"type": "CN_CHAR",
"position": 1
},
{
"token": "一个",
"start_offset": 11,
"end_offset": 13,
"type": "CN_WORD",
"position": 2
},
{
"token": "一",
"start_offset": 11,
"end_offset": 12,
"type": "TYPE_CNUM",
"position": 3
},
{
"token": "个中",
"start_offset": 12,
"end_offset": 14,
"type": "CN_WORD",
"position": 4
},
{
"token": "个",
"start_offset": 12,
"end_offset": 13,
"type": "COUNT",
"position": 5
},
{
"token": "中文",
"start_offset": 13,
"end_offset": 15,
"type": "CN_WORD",
"position": 6
},
{
"token": "分词",
"start_offset": 15,
"end_offset": 17,
"type": "CN_WORD",
"position": 7
},
{
"token": "工具包",
"start_offset": 17,
"end_offset": 20,
"type": "CN_WORD",
"position": 8
},
{
"token": "工具",
"start_offset": 17,
"end_offset": 19,
"type": "CN_WORD",
"position": 9
},
{
"token": "包",
"start_offset": 19,
"end_offset": 20,
"type": "CN_CHAR",
"position": 10
}
]
}
修改索引映射mapping:
1. 创建blog索引,分词器使用ik_max_word
请求:PUT https://localhost:9200/blog
{
"mappings": {
"hello": {
"properties": {
"id": {
"type": "long",
"store": true,
"index":"not_analyzed"
},
"title": {
"type": "text",
"store": true,
"index":"analyzed",
"analyzer":"ik_max_word"
},
"content": {
"type": "text",
"store": true,
"index":"analyzed",
"analyzer":"ik_max_word"
}
}
}
}
}
在postman中测试结果:
2. 创建文档
请求:POST https://localhost:9200/blog/article/1
{
"id":1,
"title":"IK分词器测试",
"content":"IK提供了两个分词算法ik_smart 和 ik_max_word,其中 ik_smart 为最少切分,ik_max_word为最细粒度划分"
}
{
"id":2,
"title":"ElasticSearch是一个基于Lucene的搜索服务器",
"content":"它提供了一个分布式多用户能力的全文搜索引擎,基于RESTfulweb接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。"
}
{
"id":3,
"title":"ElasticSearch概述",
"content":"Elasticsearch是面向文档(document oriented)的,这意味着它可以存储整个对象或文档(document)。然而它不仅仅是存储,还会索引(index)每个文档的内容使之可以被搜索。在Elasticsearch中,你可以对文档(而非成行成列的数据)进行索引、搜索、排序、过滤。"
}
3. term测试查询
请求:POST localhost:9200/blog/hello/_search
请求体:
{
"query":{
"term":{
"content":"搜索"
}
}
}
在postman中测试:
4. 测试queryString查询
请求:POST localhost:9200/blog/hello/_search
请求体:
{
"query":{
"query_string":{
"default_field": "content",
"query":"搜索服务器"
}
}
}
postman测试结果: