ElasticSearch(简称ES)
ES的概念
什么是ES
ES是一个分布式的全文搜索引擎
作用是什么
解决原生Lucene使用的不足,优化Lucene的调用方式,实现了高可用的分布式集群的搜索方案,ES的索引库管理支持依然是基于Apache Lucene™的开源搜索引擎。通过简单的 RESTful API来隐Lucene的复杂性,从而让全文搜索变得简单。
ES和lucene的区别
Lucene:
- 只支持Java
- 非分布式的,索引目录只能在本地
- 使用非常复杂
- 小项目使用
ES:
- 分布式全文搜索引擎
- 能在分布式项目/集群中使用
- 本身支持集群扩展
- 处理PB级结构化或非结构化数据
- 简单的 RESTful API通信方式
- 支持各种语言的客户端
- 基于Lucene封装,使操作简单
ES中的各组成及简介作用
Near Realtime(NRT)
近实时,两个意思,从写入数据到数据可以被搜索到有一个小延迟(大概1秒);基于es执行搜索和分析可以达到秒级
Index:索引库
包含一堆有相似结构的文档数据,比如可以有一个客户索引,商品分类索引,订单索引,索引有一个名称。一个index包含很多document,一个index就代表了一类类似的或者相同的document。比如说建立一个product index,商品索引,里面可能就存放了所有的商品数据,所有的商品document。
Type:类型
每个索引里都可以有一个或多个type,type是index中的一个逻辑数据分类,一个type下的document,都有相同的field,比如博客系统,有一个索引,可以定义用户数据type,博客数据type,评论数据type。
Document&field
文档,es中的最小数据单元,一个document可以是一条客户数据,一条商品分类数据,一条订单数据,通常用JSON数据结构表示,每个index下的type中,都可以去存储多个document。一个document里面有多个field,每个field就是一个数据字段。
ES与Mysql的对比:
ES mysql 索引库(index) 数据库 文档类型(type) 表 文档(document) 记录(一行数据) 字段(field) 列
Cluster:集群
包含多个节点,每个节点属于哪个集群是通过一个配置(集群名称,默认是elasticsearch)来决定的,对于中小型应用来说,刚开始一个集群就一个节点很正常
Node:节点
集群中的一个节点,节点也有一个名称(默认是随机分配的),节点名称很重要(在执行运维管理操作的时候),默认节点会去加入一个名称为"elasticsearch"的集群,如果直接启动一堆节点,那么它们会自动组成一个elasticsearch集群,当然一个节点也可以组成一个elasticsearch集群
shard(分片)
单台机器无法存储大量数据,es可以将一个索引中的数据切分为多个shard,分布在多台服务器上存储。有了shard就可以横向扩展,存储更多数据,让搜索和分析等操作分布到多台服务器上去执行,提升吞吐量和性能。每个shard都是一个lucene index。
replica(复制品)
任何一个服务器随时可能故障或宕机,此时shard可能就会丢失,因此可以为每个shard创建多个replica副本。replica可以在shard故障时提供备用服务,保证数据不丢失,多个replica还可以提升搜索操作的吞吐量和性能。primary shard(建立索引时一次设置,不能修改,默认5个),replica shard(随时修改数量,默认1个),默认每个索引10个shard,5个primary shard,5个replica shard,最小的高可用配置,是2台服务器。
集群原理图
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yAxlMtgI-1574341943845)(F:\Typora\imagger\redis+es\es集群原理图.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HgTMEM7m-1574341943850)(F:\Typora\imagger\redis+es\es集群原理图2.png)]
ElasticSearch的安装
ElasticSearch安装
下载地址,也可到官网中下载
https://www.elastic.co/downloads/elasticsearch
安装: 解压即可
测试
浏览器中直接访问:http://localhost:9200
可视化工具安装
Kibana5安装
下载地址,也可到官网中下载
https://www.elastic.co/downloads/kibana
配置
解压并编辑config/kibana.yml,设置elasticsearch.url的值为已启动的
启动Kibana5
安装目录下bin中
kibana.bat 双击启动
测试
浏览器中直接访问:http://localhost:5601
elasticsearch-header
下载
https://github.com/mobz/elasticsearch-head/releases
安装
npm install
运行
npm run start
配置跨域
修改 文件夹中的 elasticsearch/config/elasticsearch.yml
- http.cors.enabled: true
- http.cors.allow-origin: “*”
分词器安装
ES默认对英文文本的分词器支持较好,但和lucene一样,如果需要对中文进行全文检索,那么需要使用中文分词器,同lucene一样,在使用中文全文检索前,需要集成IK分词器。
ES的IK分词器插件源码地址:
https://github.com/medcl/elasticsearch-analysis-ik
并将其内容放置于ES根目录/plugins/ik
POST _analyze { "analyzer":"ik_smart", "text":"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首" }
IK分词器指定:ik_smart ; ik_max_word
ElasticSearch基础
# 分词器 POST _analyze { "analyzer":"ik_smart", "text":"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首" } #添加数据:索引库 crm ,文档类型 employee , 文档id 1 PUT _index/_type/_id PUT crm/employee/1 { "id":1, "username":"zs" } POST crm/employee { "id":2, "username":"ls" } #获取 GET crm/employee/1?pretty GET crm/employee/AW6H9xjf0NTWp10n23Ze GET _search #删除 DELETE crm/employee/AW6H9xjf0NTWp10n23Ze DELETE _all #全量修改 PUT crm/employee/1 { "username":"zszs" } #局部修改 POST crm/employee/1/_update { "doc":{ "username":"ls" } }
索引库CRUD方法
增加索引库
PUT shopping { "settings":{ "number_of_shards":5, "number_of_replicas":1 } }
查询索引库
GET _cat/indices?v
查看指定索引库
GET _cat/indices/aigou
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TGbEQbRD-1574341943852)(F:/0704/2