IK分词器和ElasticSearch集成使用

ElasticSearch学习目录：

• Lucene全文检索
• ElasticSearch 概述
• ElasticSearch客户端操作
• IK分词器和ElasticSearch集成使用
• ElasticSearch集群的概念及搭建过程
• 使用Java语言操作索引库
• Spring Data ElasticSearch基本使用

标准分词于IK分词器的对比

使用标准分词器查询中文:
请求 ：GET http://localhost:9200/_analyze?analyzer=standard&pretty=true&text=这是一段内容

结果：

使用标准分词器显然得不到我们需要的分词效果，这样的话就需要对中文支持良好的分析器的支持，支持中文分词的分词器有很多，我们这里使用的是IK分词器：

请求：GET http://localhost:9200/_analyze?analyzer=ik_smart&pretty=true&text=这是一段内容

IK分词器简介

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。

IK分词器3.0的特性如下：

• 1. 采用了特有的“正向迭代最细粒度切分算法，具有60万字/秒的高速处理能力。
• 2. 采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。
• 3. 对中英联合支持不是很好,在这方面的处理比较麻烦.需再做一次查询,同时是支持个人词条的优化的词典存储，更小的内存占用。
• 4. 支持用户词典扩展定义。
• 5. 针对Lucene全文检索优化的查询分析器IKQueryParser；采用歧义分析算法优化查询关键字的搜索排列组合，能极大的提高Lucene检索的命中率。`

ElasticSearch集成IK分词器

IK分词器的安装
1）下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

2）解压，将解压后的elasticsearch文件夹拷贝到elasticsearch\plugins下，并重命名文件夹为analysis-ik

3）重新启动ElasticSearch，即可加载IK分词器

IK分词器测试
IK提供了两个分词算法ik_smart 和 ik_max_word，其中 ik_smart 为最少切分，ik_max_word为最细粒度划分

1）最小切分：在浏览器地址栏输入地址
请求： GET http://localhost:9200/_analyze?analyzer=ik_smart&pretty=true&text=IKAnalyzer是一个中文分词工具包

{
  "tokens": [
    {
      "token": "ikanalyzer",
      "start_offset": 0,
      "end_offset": 10,
      "type": "ENGLISH",
      "position": 0
    },
    {
      "token": "是",
      "start_offset": 10,
      "end_offset": 11,
      "type": "CN_CHAR",
      "position": 1
    },
    {
      "token": "一个",
      "start_offset": 11,
      "end_offset": 13,
      "type": "CN_WORD",
      "position": 2
    },
    {
      "token": "中文",
      "start_offset": 13,
      "end_offset": 15,
      "type": "CN_WORD",
      "position": 3
    },
    {
      "token": "分词",
      "start_offset": 15,
      "end_offset": 17,
      "type": "CN_WORD",
      "position": 4
    },
    {
      "token": "工具包",
      "start_offset": 17,
      "end_offset": 20,
      "type": "CN_WORD",
      "position": 5
    }
  ]
}

2）最细切分：在浏览器地址栏输入地址
请求：GET http://localhost:9200/_analyze?analyzer=ik_max_word&pretty=true&text=IKAnalyzer是一个中文分词工具包

{
  "tokens": [
    {
      "token": "ikanalyzer",
      "start_offset": 0,
      "end_offset": 10,
      "type": "ENGLISH",
      "position": 0
    },
    {
      "token": "是",
      "start_offset": 10,
      "end_offset": 11,
      "type": "CN_CHAR",
      "position": 1
    },
    {
      "token": "一个",
      "start_offset": 11,
      "end_offset": 13,
      "type": "CN_WORD",
      "position": 2
    },
    {
      "token": "一",
      "start_offset": 11,
      "end_offset": 12,
      "type": "TYPE_CNUM",
      "position": 3
    },
    {
      "token": "个中",
      "start_offset": 12,
      "end_offset": 14,
      "type": "CN_WORD",
      "position": 4
    },
    {
      "token": "个",
      "start_offset": 12,
      "end_offset": 13,
      "type": "COUNT",
      "position": 5
    },
    {
      "token": "中文",
      "start_offset": 13,
      "end_offset": 15,
      "type": "CN_WORD",
      "position": 6
    },
    {
      "token": "分词",
      "start_offset": 15,
      "end_offset": 17,
      "type": "CN_WORD",
      "position": 7
    },
    {
      "token": "工具包",
      "start_offset": 17,
      "end_offset": 20,
      "type": "CN_WORD",
      "position": 8
    },
    {
      "token": "工具",
      "start_offset": 17,
      "end_offset": 19,
      "type": "CN_WORD",
      "position": 9
    },
    {
      "token": "包",
      "start_offset": 19,
      "end_offset": 20,
      "type": "CN_CHAR",
      "position": 10
    }
  ]
}

修改索引映射mapping：

1. 创建blog索引，分词器使用ik_max_word
请求：PUT https://localhost:9200/blog

{
	"mappings": {
		"hello": {
			"properties": {
				"id": {
					"type": "long",
					"store": true,
					"index":"not_analyzed"
				},
				"title": {
					"type": "text",
					"store": true,
					"index":"analyzed",
					"analyzer":"ik_max_word"
				},
				"content": {
					"type": "text",
					"store": true,
					"index":"analyzed",
					"analyzer":"ik_max_word"
				}
			}
		}
	}
}

在postman中测试结果：

2. 创建文档

请求：POST https://localhost:9200/blog/article/1

{
	"id":1,
	"title":"IK分词器测试",
	"content":"IK提供了两个分词算法ik_smart 和 ik_max_word,其中 ik_smart 为最少切分，ik_max_word为最细粒度划分"
}
{
	"id":2,
	"title":"ElasticSearch是一个基于Lucene的搜索服务器",
	"content":"它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。"
}
{
	"id":3,
	"title":"ElasticSearch概述",
	"content":"Elasticsearch是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)。然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜索。在Elasticsearch中，你可以对文档（而非成行成列的数据）进行索引、搜索、排序、过滤。"
}

3. term测试查询

请求：POST localhost:9200/blog/hello/_search
请求体：

{
	"query":{
		"term":{
			"content":"搜索"
		}
	}
}

在postman中测试：


4. 测试queryString查询

请求：POST localhost:9200/blog/hello/_search
请求体：

{
	"query":{
		"query_string":{
			"default_field": "content",
			"query":"搜索服务器"
		}
	}
}

postman测试结果：