Elasticsearch介绍

Elasticsearch介绍

什么是 Elasticsearch ？

• 使用 java 语言开发的一套开源的全文搜索引擎，建立在全文搜索引擎 Apache Lucene（TM）基础上的搜索引擎
• 用于搜索、日志管理、安全分析、指标分析、业务分析、应用性能监控等多个领域
• 底层基于 Lucene 开源库开发，提供 restAPI，可以被任何语言调用
• 支持分布式部署，可水平扩展
• 更新迭代快、社区活跃、文档丰富

es功能

1. 分布式的搜索引擎和数据分析引擎
2. 数据分析：电商网站，最近7天牙膏销量排行前十商家（举例）
3. 全文检索，结构化检索，数据分析
4. 全文检索：我想搜索商品名称包含牙膏的商品，select * from products where product_name like “%牙膏%”
5. 结构化检索：我想搜索商品分类为日化用品的商品都有哪些，select * from products where category_id=’日化用品’
6. 部分匹配、自动完成、搜索纠错、搜索推荐
7. 数据分析：我们分析每一个商品分类下有多少个商品，select category_id,count(*) from products group by category_id
8. 对海量数据进行实时的处理

es特点

1. 可以作为一个大型分布式集群（数百台服务器）技术，处理PB级数据，服务大公司；也可以运行在单机上，服务小公司
2. Elasticsearch不是什么新技术，主要是将全文检索、数据分析以及分布式技术，合并在了一起，才形成了独一无二的ES；
3. lucene（全文检索），商用的数据分析软件（也是有的），分布式数据库（mycat）
4. 对用户而言，是开箱即用的，非常简单，作为中小型的应用，直接3分钟部署一下ES，就可以作为生产环境的系统来使用了，数据量不大，操作不是太复杂
5. 数据库的功能面对很多领域是不够用的（事务，还有各种联机事务型的操作）
6. 特殊的功能，比如全文检索，同义词处理，相关度排名，复杂数据分析，海量数据的近实时处理
7. Elasticsearch作为传统数据库的一个补充，提供了数据库所不不能提供的很多功能

elasticsearch基本概念

概念说明

1. ElasticSearch 是分布式数据库，允许多台服务器协同工作，每台服务器可以运行多个实例
2. 单个实例称为一个节点（node）
3. 一组节点构成一个集群（cluster）
4. 分片是底层的工作单元，文档保存在分片内，分片又被分配到集群内的各个节点里，每个分片仅保存全部数据的一部分

索引（Index）[数据库]

1. ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。

2. 类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。

3. 索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。

4. 一个ES集群中可以按需创建任意数目的索引。

类型（Type）[表]

1. 类型是索引内部的逻辑分区(category/partition)，然而其意义完全取决于用户需求。

2. 因此，一个索引内部可定义一个或多个类型(type)。

3. 一般来说，类型就是为那些拥有相同的域的文档做的预定义。

4. 例如，在索引中，可以定义一个用于存储用户数据的类型，一个存储日志数据的类型，以及一个存储评论数据的类型。

5. 类比传统的关系型数据库领域来说，类型相当于“表”。

文档（Document）

1. 文档是索引和搜索的原子单位，它是包含了一个或多个域（Field）的容器，基于JSON格式进行表示。

2. 文档由一个或多个域组成，每个域拥有一个名字及一个或多个值，有多个值的域通常称为“多值域”。

3. 每个文档可以存储不同的域集，但同一类型下的文档至应该有某种程度上的相似之处。

节点（Node）

1. 一个运行中的 Elasticsearch 实例称为一个节点

2. 而集群是由一个或者多个拥有相同cluster.name配置的节点组成， 它们共同承担数据和负载的压力。

3. ES集群中的节点有三种不同的类型：

1）主节点：负责管理集群范围内的所有变更，例如增加、删除索引，或者增加、删除节点等。 主节点并不需要涉及到文档级别的变更和搜索等操作。可以通过属性node.master进行设置
2）数据节点：存储数据和其对应的倒排索引，默认每一个节点都是数据节点（包括主节点），可以通过node.data属性进行设置
3）协调节点：如果node.master和node.data属性均为false，则此节点称为协调节点，用来响应客户请求，均衡每个节点的负载

分片（Shard）

1. 一个索引中的数据保存在多个分片中，相当于水平分表。

2. 一个分片便是一个Lucene 的实例，它本身就是一个完整的搜索引擎。

3. 我们的文档被存储和索引到分片内，但是应用程序是直接与索引而不是与分片进行交互。

4. ES实际上就是利用分片来实现分布式。

5. 分片是数据的容器，文档保存在分片内，分片又被分配到集群内的各个节点里。

6. 当你的集群规模扩大或者缩小时， ES会自动的在各节点中迁移分片，使得数据仍然均匀分布在集群里。

主分片 与 副分片

1）索引内任意一个文档都归属于一个主分片，所以主分片的数目决定着索引能够保存的最大数据量。

2）一个副本分片只是一个主分片的拷贝。

3）副本分片作为硬件故障时保护数据不丢失的冗余备份，并为搜索和返回文档等读操作提供服务。

elasticsearch增删改查原理

增加原理

1. 当用户向一个节点提交了一个索引新文档的请求，节点会计算新文档应该加入到哪个分片（shard）中。

2. 每个节点都存储有每个分片存储在哪个节点的信息，因此协调节点会将请求发送给对应的节点。

3. 注意这个请求会发送给主分片，等主分片完成索引，会并行将请求发送到其所有副本分片，保证每个分片都持有最新数据。

4. 每次写入新文档时，都会先写入内存中，并将这一操作写入一个translog文件（transaction log）中，此时如果执行搜索操作，这个新文档还不能被索引到。

5. ES会每隔1秒时间（这个时间可以修改）进行一次刷新操作（refresh）

6. 此时在这1秒时间内写入内存的新文档都会被写入一个文件系统缓存（filesystem cache）中，并构成一个分段（segment）。

7. 此时这个segment里的文档可以被搜索到，但是尚未写入硬盘，即如果此时发生断电，则这些文档可能会丢失。

8.不断有新的文档写入，则这一过程将不断重复执行。每隔一秒将生成一个新的segment，而translog文件将越来越大。

9.不断有新的文档写入，则这一过程将不断重复执行。每隔一秒将生成一个新的segment，而translog文件将越来越大。

说明：

1）由上面的流程可以看出，在两次fsync操作之间，存储在内存和文件系统缓存中的文档是不安全的，一旦出现断电这些文档就会丢失。

2）所以ES引入了translog来记录两次fsync之间所有的操作，这样机器从故障中恢复或者重新启动，ES便可以根据translog进行还原。

删除（Delete）文档

1. ES的索引是不能修改的，因此更新和删除操作并不是直接在原索引上直接执行。

2. 每一个磁盘上的segment都会维护一个del文件，用来记录被删除的文件。

3. 每当用户提出一个删除请求，文档并没有被真正删除，索引也没有发生改变，而是在del文件中标记该文档已被删除。

4. 因此，被删除的文档依然可以被检索到，只是在返回检索结果时被过滤掉了。

5. 每次在启动segment合并工作时，那些被标记为删除的文档才会被真正删除。

更新（Update）

1. 更新文档会首先查找原文档，得到该文档的版本号。

2. 然后将修改后的文档写入内存，此过程与写入一个新文档相同。

3. 同时，旧版本文档被标记为删除，同理，该文档可以被搜索到，只是最终被过滤掉。

读操作（Read）：查询过程

1. 查询的过程大体上分为查询（query）和取回（fetch）两个阶段。

2. 这个节点的任务是广播查询请求到所有相关分片，并将它们的响应整合成全局排序后的结果集合，这个结果集合会返回给客户端。

3. 查询阶段

1）当一个节点接收到一个搜索请求，则这个节点就变成了协调节点。

2）第一步是广播请求到索引中每一个节点的分片拷贝。

3）协调节点会将所有分片的结果汇总，并进行全局排序，得到最终的查询排序结果。

4. 取回阶段

1）查询过程得到的是一个排序结果，标记出哪些文档是符合搜索要求的，此时仍然需要获取这些文档返回客户端。

2）协调节点会确定实际需要返回的文档，并向含有该文档的分片发送get请求；

3）分片获取文档返回给协调节点；协调节点将结果返回给客户端。