一.概述
1.作用
(1)elasticsearch是分布式搜索引擎和数据分析引擎。
(2)全文检索,结构化检索,数据分析。
(3)对海量的数据进行实时的处理。
分布式:将海量的数据分布到多台服务器进行存储。
2.elasticsearch的特点
(1)可以做为一个大型分布式集群(数百台服务器)技术,处理PB级数据,服务大公司。
(2)elasticsearch不是什么新的技术,主要是将全文检索、数据分析以及分布式技术,合并到一起,形成了es。
(3)对用户而言,开箱即用,非常简单。
(4)数据库的功能面对很多领域是不够用,比如:全文检索,同义词处理,相关度排名。
3.elasticsearch与lucene的对比
(1)隐藏lucene的复杂性
(2)分布式的文档存储引擎
(3)分布式的搜索引擎和分析引擎
(4)分布式,支持PB级数据
二.elasticsearch的核心概念
1.Near Realtime(NRT)
近实时,有俩个含义。
含义一:从写入数据到数据可以被搜索到有一个小延迟(大概1秒)。
含义二:基于es执行搜索和分析可以达到秒级。
2.Cluster
集群,包含多个节点,每个节点属于哪个集群是通过一个配置(集群名称,默认是elasticsearch)来决定的,对于中小型应用来说,刚开始一个集群就一个节点很正常。
3.Node
节点,集群中的节点,节点也有一个名称(默认是随机分配),节点名称很重要(在执行运维管理操作时候),默认节点会去加入一个名称为“elasticsearch”的集群,如果直接启动一堆节点,那么它们会自动组成一个elasticsearch的集群,当然一个节点也会组成一个elasticsearch集群。
4.document&field
文档。es当中最小数据的单元。一个document可以是一条客户数据,一条商品分类数据。
通常用JSON数据结构表示,每个index下的type中,都可以存储多个document。
每一个document有多个field,每个field都是一个数据字段。
5.index
索引,包含一堆有相似结构的文档数据,比如可以有一个客户索引,订单索引。
索引都有一个名称。一个index包含多个document。
6.Type
类型,每个索引里都可以有一个或多个type,type是index中的一个逻辑数据分类,一个type下的document,都有相同的field(域),比如博客系统,有一个索引,可以定义用户数据类型type,博客数据type,评论数据type。
7.shard
单台机器无法存储大量数据,es可以将一个索引中的数据切分为多个shard,分布在多台服务器上存储。有了shard就可以横向扩展,可以存储更多数据。让搜索和分析等操作分布到多台服务器上执行,提升吞吐量和性能。每个shard都是一个lucene Index。
8.replica
任何一个服务器随时可能故障或者宕机,此时shard可能就会丢失,因此可以为每个shard创建多个replica副本。replica可以在shard故障时提供备用服务,保证数据不丢失。多个replica可以提升搜索操作的吞吐量和性能。primary shard(建立索引时一次设置,不能修改,默认为5个),replica shard(随时修改数量,默认为1个),默认每个索引10个shard,5个primary shard,5个replica shard,最小的高可用配置,是2台服务器。
三.图解【shard和replica的解析】
四.es与数据库的对比
es | 数据库 |
---|---|
document | 行 |
Type | 表 |
index | 库 |
field | 字段【列】 |