一文读懂ElasticSearch底层原理

一、ES基本概念介绍

1.ES简介

ES是一个分布式、可扩展的、近实时的，有数据搜索、分析与存储的引擎。支持全文搜索、结构化搜索、半结构化搜索、数据分析、地理位置和对象间关联关系搜索等功能。

近实时：非实时，数据不是实时最新的。

其底层基于Lucene，但Lucene比较复杂，面向普通应用开发者而言，易用性不是很好，同时对于目前的主流分布式架构支持也不好，所以就诞生了ES。

ES使用Java编写，它的内部使用Lucene做索引与搜索，隐藏了Lucene的复杂性，面向开发者暴露了即使不同编程语言也基本一致的API和Client，方便大家将搜索功能快速植入到日常应用中。

2.ES使用场景

（1）全文检索

ES的主要应用场景之一，类似于Google搜索，百度搜索和维基百科等，对全文关键字进行检索。

（2）日志分析

海量数据进行近实时的处理，对复杂的日志进行分析，得到我们想要的结果

（3）复杂条件查询

数据量很大，又需要各种条件查询，实时的返回查询数据结果，如管理后台

（4）相似搜索，模糊匹配，地理位置聚合等

3.ES基本概念

（1）文档（Document）

是在ES中可以被索引的基本单位，以JSON标识，类似于关系数据库中的一行

（2）类型（Type）

表示一类相似的文档，作为一个元数据来实现逻辑划分，类似于关系数据库中的表

（3）索引（Index）

索引是具有相似特征的文档的集合，类似于关系数据库中的数据库。

4.ES的节点、分片

默认情况下，每个索引由5个主要分片组成，每份主要分片又有一个副本，一共10个分片。

分片是ES所处理的最小单元，一份分片是Lucene的索引，包含倒排索引的文件目录，分片仅保存了全部数据中的一部分。

副本分片是主分片的拷贝，副本分片作为硬件故障时数据的备份，并为搜索和返回文档等读操作提供服务。副本分片可以提高可用性和性能。

默认的，文档在分片上均匀分布，通过文档ID字符串的散列决定分布到哪个分片，每份分片拥有相同的散列范围，接收新文档的机会均等。一旦目标分片确定，接收请求的节点将文档转发到该分片所在的节点，随后索引操作在所有目标分片的所有副本分片中进行。

写索引只能写在主分片上，然后同步到副本分片，ES写入哪个分片是由文档ID的hash值决定的，公式如下：

shard = hash(routing) % number_of_primary_shards