ES概念及工具安装和使用

ElasticSearch（简称ES）

ES的概念

什么是ES

ES是一个分布式的全文搜索引擎

作用是什么

解决原生Lucene使用的不足，优化Lucene的调用方式，实现了高可用的分布式集群的搜索方案，ES的索引库管理支持依然是基于Apache Lucene™的开源搜索引擎。通过简单的 RESTful API来隐Lucene的复杂性，从而让全文搜索变得简单。

ES和lucene的区别

Lucene:

• 只支持Java
• 非分布式的,索引目录只能在本地
• 使用非常复杂
• 小项目使用

ES:

• 分布式全文搜索引擎
• 能在分布式项目/集群中使用
• 本身支持集群扩展
• 处理PB级结构化或非结构化数据
• 简单的 RESTful API通信方式
• 支持各种语言的客户端
• 基于Lucene封装，使操作简单

ES中的各组成及简介作用

Near Realtime（NRT）

近实时，两个意思，从写入数据到数据可以被搜索到有一个小延迟（大概1秒）；基于es执行搜索和分析可以达到秒级

Index：索引库

包含一堆有相似结构的文档数据，比如可以有一个客户索引，商品分类索引，订单索引，索引有一个名称。一个index包含很多document，一个index就代表了一类类似的或者相同的document。比如说建立一个product index，商品索引，里面可能就存放了所有的商品数据，所有的商品document。

Type：类型

每个索引里都可以有一个或多个type，type是index中的一个逻辑数据分类，一个type下的document，都有相同的field，比如博客系统，有一个索引，可以定义用户数据type，博客数据type，评论数据type。

Document&field

文档，es中的最小数据单元，一个document可以是一条客户数据，一条商品分类数据，一条订单数据，通常用JSON数据结构表示，每个index下的type中，都可以去存储多个document。一个document里面有多个field，每个field就是一个数据字段。

ES与Mysql的对比：

ES	mysql
索引库(index)	数据库
文档类型(type)	表
文档(document)	记录(一行数据)
字段(field)	列

Cluster：集群

包含多个节点，每个节点属于哪个集群是通过一个配置（集群名称，默认是elasticsearch）来决定的，对于中小型应用来说，刚开始一个集群就一个节点很正常

Node：节点

集群中的一个节点，节点也有一个名称（默认是随机分配的），节点名称很重要（在执行运维管理操作的时候），默认节点会去加入一个名称为"elasticsearch"的集群，如果直接启动一堆节点，那么它们会自动组成一个elasticsearch集群，当然一个节点也可以组成一个elasticsearch集群

shard（分片）

单台机器无法存储大量数据，es可以将一个索引中的数据切分为多个shard，分布在多台服务器上存储。有了shard就可以横向扩展，存储更多数据，让搜索和分析等操作分布到多台服务器上去执行，提升吞吐量和性能。每个shard都是一个lucene index。

replica（复制品）

任何一个服务器随时可能故障或宕机，此时shard可能就会丢失，因此可以为每个shard创建多个replica副本。replica可以在shard故障时提供备用服务，保证数据不丢失，多个replica还可以提升搜索操作的吞吐量和性能。primary shard（建立索引时一次设置，不能修改，默认5个），replica shard（随时修改数量，默认1个），默认每个索引10个shard，5个primary shard，5个replica shard，最小的高可用配置，是2台服务器。

集群原理图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yAxlMtgI-1574341943845)(F:\Typora\imagger\redis+es\es集群原理图.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HgTMEM7m-1574341943850)(F:\Typora\imagger\redis+es\es集群原理图2.png)]

ElasticSearch的安装

ElasticSearch安装

下载地址，也可到官网中下载

https://www.elastic.co/downloads/elasticsearch

安装: 解压即可

测试

浏览器中直接访问：http://localhost:9200

可视化工具安装

Kibana5安装

下载地址，也可到官网中下载

	https://www.elastic.co/downloads/kibana

配置

解压并编辑config/kibana.yml，设置elasticsearch.url的值为已启动的

启动Kibana5

安装目录下bin中

kibana.bat 双击启动

测试

浏览器中直接访问：http://localhost:5601

elasticsearch-header

下载

https://github.com/mobz/elasticsearch-head/releases

安装

npm install

运行

npm run start

配置跨域

修改 文件夹中的 elasticsearch/config/elasticsearch.yml

• http.cors.enabled: true
• http.cors.allow-origin: “*”

分词器安装

ES默认对英文文本的分词器支持较好，但和lucene一样，如果需要对中文进行全文检索，那么需要使用中文分词器，同lucene一样，在使用中文全文检索前，需要集成IK分词器。

• 下载IK分词器

​ ES的IK分词器插件源码地址：

https://github.com/medcl/elasticsearch-analysis-ik 

• 解压elasticsearch-analysis-ik-5.2.2.zip文件

​ 并将其内容放置于ES根目录/plugins/ik

• IK分词器配置

• IK分词测试

POST _analyze
{
"analyzer":"ik_smart",
"text":"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"
}

IK分词器指定：ik_smart ； ik_max_word

ElasticSearch基础

# 分词器  
POST _analyze
{
"analyzer":"ik_smart",
"text":"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"
}

#添加数据:索引库 crm ,文档类型 employee , 文档id 1
PUT _index/_type/_id

PUT crm/employee/1
{
"id":1,
"username":"zs"
}

POST crm/employee
{
"id":2,
"username":"ls"
}

#获取
GET crm/employee/1?pretty

GET crm/employee/AW6H9xjf0NTWp10n23Ze

GET _search

#删除
DELETE crm/employee/AW6H9xjf0NTWp10n23Ze

DELETE _all

#全量修改
PUT crm/employee/1
{
"username":"zszs"
}
#局部修改

POST crm/employee/1/_update
{
"doc":{
"username":"ls"
}
}

索引库CRUD方法

增加索引库

PUT shopping
{
	"settings":{
		"number_of_shards":5,
		"number_of_replicas":1
	}
}

查询索引库

GET _cat/indices?v

查看指定索引库

GET _cat/indices/aigou

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TGbEQbRD-1574341943852)(F:/0704/2