目录:
Elasticsearch介绍
什么是 Elasticsearch ?
- 使用 java 语言开发的一套开源的全文搜索引擎,建立在全文搜索引擎 Apache Lucene(TM)基础上的搜索引擎
- 用于搜索、日志管理、安全分析、指标分析、业务分析、应用性能监控等多个领域
- 底层基于 Lucene 开源库开发,提供 restAPI,可以被任何语言调用
- 支持分布式部署,可水平扩展
- 更新迭代快、社区活跃、文档丰富
es功能
- 分布式的搜索引擎和数据分析引擎
- 数据分析:电商网站,最近7天牙膏销量排行前十商家(举例)
- 全文检索,结构化检索,数据分析
- 全文检索:我想搜索商品名称包含牙膏的商品,select * from products where product_name like “%牙膏%”
- 结构化检索:我想搜索商品分类为日化用品的商品都有哪些,select * from products where category_id=’日化用品’
- 部分匹配、自动完成、搜索纠错、搜索推荐
- 数据分析:我们分析每一个商品分类下有多少个商品,select category_id,count(*) from products group by category_id
- 对海量数据进行实时的处理
es特点
- 可以作为一个大型分布式集群(数百台服务器)技术,处理PB级数据,服务大公司;也可以运行在单机上,服务小公司
- Elasticsearch不是什么新技术,主要是将全文检索、数据分析以及分布式技术,合并在了一起,才形成了独一无二的ES;
- lucene(全文检索),商用的数据分析软件(也是有的),分布式数据库(mycat)
- 对用户而言,是开箱即用的,非常简单,作为中小型的应用,直接3分钟部署一下ES,就可以作为生产环境的系统来使用了,数据量不大,操作不是太复杂
- 数据库的功能面对很多领域是不够用的(事务,还有各种联机事务型的操作)
- 特殊的功能,比如全文检索,同义词处理,相关度排名,复杂数据分析,海量数据的近实时处理
- Elasticsearch作为传统数据库的一个补充,提供了数据库所不不能提供的很多功能
elasticsearch基本概念
概念说明
- ElasticSearch 是分布式数据库,允许多台服务器协同工作,每台服务器可以运行多个实例
- 单个实例称为一个节点(node)
- 一组节点构成一个集群(cluster)
- 分片是底层的工作单元,文档保存在分片内,分片又被分配到集群内的各个节点里,每个分片仅保存全部数据的一部分
索引(Index)[数据库]
1. ES将数据存储于一个或多个索引中,索引是具有类似特性的文档的集合。
2. 类比传统的关系型数据库领域来说,索引相当于SQL中的一个数据库,或者一个数据存储方案(schema)。
3. 索引由其名称(必须为全小写字符)进行标识,并通过引用此名称完成文档的创建、搜索、更新及删除操作。
4. 一个ES集群中可以按需创建任意数目的索引。
类型(Type)[表]
1. 类型是索引内部的逻辑分区(category/partition),然而其意义完全取决于用户需求。
2. 因此,一个索引内部可定义一个或多个类型(type)。
3. 一般来说,类型就是为那些拥有相同的域的文档做的预定义。
4. 例如,在索引中,可以定义一个用于存储用户数据的类型,一个存储日志数据的类型,以及一个存储评论数据的类型。
5. 类比传统的关系型数据库领域来说,类型相当于“表”。
文档(Document)
1. 文档是索引和搜索的原子单位,它是包含了一个或多个域(Field)的容器,基于JSON格式进行表示。
2. 文档由一个或多个域组成,每个域拥有一个名字及一个或多个值,有多个值的域通常称为“多值域”。
3. 每个文档可以存储不同的域集,但同一类型下的文档至应该有某种程度上的相似之处。
节点(Node)
1. 一个运行中的 Elasticsearch 实例称为一个节点
2. 而集群是由一个或者多个拥有相同cluster.name配置的节点组成, 它们共同承担数据和负载的压力。
3. ES集群中的节点有三种不同的类型:
1)主节点:负责管理集群范围内的所有变更,例如增加、删除索引,或者增加、删除节点等。 主节点并不需要涉及到文档级别的变更和搜索等操作。可以通过属性node.master进行设置
2)数据节点:存储数据和其对应的倒排索引,默认每一个节点都是数据节点(包括主节点),可以通过node.data属性进行设置
3)协调节点:如果node.master和node.data属性均为false,则此节点称为协调节点,用来响应客户请求,均衡每个节点的负载
分片(Shard)
1. 一个索引中的数据保存在多个分片中,相当于水平分表。
2. 一个分片便是一个Lucene 的实例,它本身就是一个完整的搜索引擎。
3. 我们的文档被存储和索引到分片内,但是应用程序是直接与索引而不是与分片进行交互。
4. ES实际上就是利用分片来实现分布式。
5. 分片是数据的容器,文档保存在分片内,分片又被分配到集群内的各个节点里。
6. 当你的集群规模扩大或者缩小时, ES会自动的在各节点中迁移分片,使得数据仍然均匀分布在集群里。
主分片 与 副分片
1)索引内任意一个文档都归属于一个主分片,所以主分片的数目决定着索引能够保存的最大数据量。
2)一个副本分片只是一个主分片的拷贝。
3)副本分片作为硬件故障时保护数据不丢失的冗余备份,并为搜索和返回文档等读操作提供服务。
elasticsearch增删改查原理
增加原理
1. 当用户向一个节点提交了一个索引新文档的请求,节点会计算新文档应该加入到哪个分片(shard)中。
2. 每个节点都存储有每个分片存储在哪个节点的信息,因此协调节点会将请求发送给对应的节点。
3. 注意这个请求会发送给主分片,等主分片完成索引,会并行将请求发送到其所有副本分片,保证每个分片都持有最新数据。
4. 每次写入新文档时,都会先写入内存中,并将这一操作写入一个translog文件(transaction log)中,此时如果执行搜索操作,这个新文档还不能被索引到。
5. ES会每隔1秒时间(这个时间可以修改)进行一次刷新操作(refresh)
6. 此时在这1秒时间内写入内存的新文档都会被写入一个文件系统缓存(filesystem cache)中,并构成一个分段(segment)。
7. 此时这个segment里的文档可以被搜索到,但是尚未写入硬盘,即如果此时发生断电,则这些文档可能会丢失。
8.不断有新的文档写入,则这一过程将不断重复执行。每隔一秒将生成一个新的segment,而translog文件将越来越大。
9.不断有新的文档写入,则这一过程将不断重复执行。每隔一秒将生成一个新的segment,而translog文件将越来越大。
说明:
1)由上面的流程可以看出,在两次fsync操作之间,存储在内存和文件系统缓存中的文档是不安全的,一旦出现断电这些文档就会丢失。
2)所以ES引入了translog来记录两次fsync之间所有的操作,这样机器从故障中恢复或者重新启动,ES便可以根据translog进行还原。
删除(Delete)文档
1. ES的索引是不能修改的,因此更新和删除操作并不是直接在原索引上直接执行。
2. 每一个磁盘上的segment都会维护一个del文件,用来记录被删除的文件。
3. 每当用户提出一个删除请求,文档并没有被真正删除,索引也没有发生改变,而是在del文件中标记该文档已被删除。
4. 因此,被删除的文档依然可以被检索到,只是在返回检索结果时被过滤掉了。
5. 每次在启动segment合并工作时,那些被标记为删除的文档才会被真正删除。
更新(Update)
1. 更新文档会首先查找原文档,得到该文档的版本号。
2. 然后将修改后的文档写入内存,此过程与写入一个新文档相同。
3. 同时,旧版本文档被标记为删除,同理,该文档可以被搜索到,只是最终被过滤掉。
读操作(Read):查询过程
1. 查询的过程大体上分为查询(query)和取回(fetch)两个阶段。
2. 这个节点的任务是广播查询请求到所有相关分片,并将它们的响应整合成全局排序后的结果集合,这个结果集合会返回给客户端。
3. 查询阶段
1)当一个节点接收到一个搜索请求,则这个节点就变成了协调节点。
2)第一步是广播请求到索引中每一个节点的分片拷贝。
3)协调节点会将所有分片的结果汇总,并进行全局排序,得到最终的查询排序结果。
4. 取回阶段
1)查询过程得到的是一个排序结果,标记出哪些文档是符合搜索要求的,此时仍然需要获取这些文档返回客户端。
2)协调节点会确定实际需要返回的文档,并向含有该文档的分片发送get请求;
3)分片获取文档返回给协调节点;协调节点将结果返回给客户端。