ELK学习

写入流程与原理

在写入数据时，Elasticsearch遵循以下原理和步骤：

1. 客户端请求与协调节点

• 客户端向Elasticsearch集群发送一个写入请求，这个请求可以发送到集群中的任何一个节点。
• 接收到请求的节点会充当协调节点的角色。协调节点负责处理客户端的请求，并将请求路由到正确的数据节点。

2. 路由与主分片处理

• 协调节点会根据文档的_id和索引的设置（如分片数量）来确定文档应该写入到哪个主分片。这是通过一个哈希函数和模运算来实现的，确保同一个_id的文档总是路由到同一个主分片。
• 确定目标主分片后，协调节点将请求转发给该主分片所在的数据节点。
• 数据节点上的主分片接收到请求后，会先将文档写入到内存中的Lucene索引结构里。这个过程包括将文档转换成倒排索引的形式，以便后续的搜索和分析。

3. 数据分片与副本分片

• 一旦文档被写入到主分片，主分片会开始将数据同步到其对应的副本分片上。这是为了保证数据的冗余和可用性。
• 副本分片是主分片的完整拷贝，它们可以处理搜索请求并提供数据恢复的能力。当主分片不可用时，副本分片可以被提升为新的主分片。
• 数据同步是异步进行的，这意味着写入请求在主分片处理完毕后就可以返回给客户端，而不需要等待所有副本分片都完成同步。

4. 写入确认与响应

• 当主分片和足够数量的副本分片（根据配置可能是全部或大多数）都成功写入了文档后，协调节点会收到这些分片的确认信息。
• 一旦收到足够的确认信息，协调节点就会向客户端发送一个成功的响应，表示文档已经被成功写入。

5. 底层写入机制

在Elasticsearch中，底层写入机制是确保数据可靠、持久化并可以被高效搜索的关键部分：

5.1 缓冲区（Buffer）和事务日志（Translog）

• 当文档被写入Elasticsearch时，它们首先被放置在内存中的一个缓冲区中。这个缓冲区是临时的，用于快速接收并处理写入请求。 内存吞金兽
• 为确保数据的持久性和可靠性，每一个写入操作也会被记录到事务日志（Translog）中。Translog是一个追加写入的日志文件，它记录了所有对索引的更改。这种机制类似于数据库中的写前日志（WAL）或重做日志（redo log），用于在系统崩溃后恢复数据。

5.2 刷新（Refresh）操作

• 随着时间的推移，缓冲区中的数据会积累到一定量，此时需要将这些数据刷新（refresh）到Lucene的索引中。刷新操作会创建一个新的Lucene段（segment），并将缓冲区中的数据写入这个段中。
• Lucene段是不可变的，一旦被写入就不能被修改，这保证了数据的一致性和搜索的高效性。新的段会被添加到索引中，使得新写入的数据可以被搜索到。
• 刷新操作是周期性的，可以通过配置来控制刷新的频率。频繁的刷新会提高数据的实时性，但也会增加I/O负担和CPU使用率；而较少的刷新则会减少I/O操作，但可能会降低数据的实时性。

5.3 Flush操作

• 与刷新不同，flush操作会将内存中的数据以及Translog中的更改持久化到磁盘上。这意味着数据被真正写入到了物理存储中，而不仅仅是保存在操作系统的文件系统缓存中。
• Flush操作会调用操作系统的fsync函数来确保数据被写入磁盘，并且会清空相关的缓存和文件（如Translog）。这样做可以释放内存空间，并为后续的写入操作做好准备。
• Flush操作的频率通常比刷新操作要低得多，因为它涉及到磁盘I/O操作，相对较慢。但是，在Elasticsearch中，flush操作是自动管理的，会根据索引的大小、写入速率和磁盘I/O能力等因素来动态调整。

ES读取数据流程

1. 客户端发送请求

当用户想要从Elasticsearch中检索数据时，他们会通过Elasticsearch的客户端API发送一个搜索请求。这个请求包含了查询的详细信息，如要搜索的索引、查询类型（如匹配查询、范围查询等）、过滤条件等。

2. 请求到达协调节点

请求首先到达Elasticsearch集群中的一个节点，这个节点被称为协调节点（Coordinating Node）。协调节点负责接收客户端的请求，处理请求的路由逻辑，并与数据节点（Data Node）进行通信以获取实际的数据。

3. 解析查询并确定目标分片

协调节点接收到请求后，会解析查询语句，并根据索引的映射（Mapping）和设置（Settings）信息来确定需要查询哪些分片（Shard）。Elasticsearch中的每个索引都被分割成多个分片，并且这些分片可以分布在集群的多个节点上以提高可扩展性和性能。

4. 将请求转发给数据节点

协调节点根据分片的位置信息将查询请求转发给包含目标分片的数据节点。每个数据节点上都存储着一部分索引的数据，并负责处理与这些数据相关的查询请求。

5. 在数据节点上执行查询

数据节点接收到查询请求后，会使用Lucene库来执行实际的搜索操作。Lucene是一个高性能、全功能的文本搜索引擎库，它提供了强大的索引和搜索功能。数据节点会根据查询条件在Lucene索引中检索匹配的文档，并生成一个结果集。

6. 聚合和排序的结果

数据节点将查询结果返回给协调节点。如果查询涉及多个分片，协调节点需要聚合来自不同分片的结果，并根据需要对结果进行排序、分页等处理。这个过程可能需要消耗一定的计算资源，特别是当结果集很大时。

7. 返回结果给客户端

一旦结果准备好，协调节点会将它们封装成一个统一的响应格式，并返回给客户端。响应中包含了查询的结果、匹配的文档数量、聚合数据（如果有的话）等信息。客户端可以解析这个响应来获取所需的数据。

缓存和优化策略

• 查询缓存：Elasticsearch会对某些查询结果进行缓存，以便快速响应相同的查询请求。这可以减少对Lucene索引的重复访问，提高查询性能。然而，由于缓存空间有限，只有部分查询结果会被缓存。
• 分片请求缓存：数据节点上的分片请求缓存可以存储查询请求的结果。当相同的查询再次到达时，可以直接从缓存中获取结果，而无需再次访问Lucene索引。这有助于减少对磁盘I/O的依赖，提高查询速度。
• 优化查询语句：为了提高查询性能，用户应该编写高效的查询语句。避免使用高开销的查询操作（如通配符查询、正则表达式查询等），合理使用过滤器和聚合操作，以及优化索引结构都可以帮助提高查询速度。

ES内部的一些关键查询优化技术：

倒排索引：ES使用倒排索引来实现快速的全文搜索。这种索引结构允许ES快速检索包含特定单词的文档。

分片和副本：ES将数据分片（Sharding）以分布数据和查询负载。每个分片都是一个独立的搜索引擎，可以处理一部分数据。副本（Replicas）提供了数据的冗余和读取操作的高可用性。

查询缓存：ES缓存了过滤条件的结果，这样相同的过滤条件可以快速重用，而不需要重新计算。

并行处理：在执行查询时，ES会并行处理多个分片的结果，然后合并这些结果。

矢量查询：对于数值字段，ES使用矢量查询来加速查询，而不是扫描每个文档。

懒加载：在处理大型聚合查询时，ES会使用懒加载技术，这意味着只有当需要时才会计算聚合。

查询优化器：ES有一个查询优化器，它会自动重写查询以提高性能。例如，它会将范围查询转换为更高效的查询类型。

布隆过滤器：在查询时，ES使用布隆过滤器来快速排除不包含查询词的文档。

前缀缓存：对于频繁访问的前缀，ES会缓存它们以加速查询。

热-温-冷架构：ES支持热-温-冷架构，允许数据在不同阶段被存储在不同性能的硬件上，以优化成本和性能。

索引生命周期管理（ILM）：ES提供了ILM策略，自动管理索引的生命周期，从创建到过期的整个流程。

词频和位置信息存储：在倒排索引中，除了文档ID的列表，ES还存储了每个词在文档中的频率和位置信息，这有助于执行更复杂的查询。

文档评分：ES使用特定的算法来为匹配查询条件的文档打分，以确定它们在搜索结果中的排名。

查询上下文：ES允许查询在特定的上下文中执行，例如，只搜索特定的字段或使用特定的分析器。

多阶段查询：对于复杂的查询，ES会将其分解为多个阶段，每个阶段可以独立优化。

异步搜索：ES支持异步搜索，允许查询在后台运行，而不会阻塞其他操作。

搜索结果摘要：在执行搜索时，ES会生成一个摘要，其中包含有关查询性能的信息，如查询时间、匹配的文档数等。

这些优化技术共同作用，使得Elasticsearch能够有效地处理大规模数据集，同时保持快速的查询响应时间。

滚动（scroll）查询

ES为了避免深分页，不允许使用分页(from&size)查询10000条以后的数据，因此如果要查询第10000条以后的数据，要使用ES提供的 scroll(游标) 来查询。

from-size分页的缺点

按size=10共分10页，那么当用户查询第n页的时候，实际上es是把前n页的数据全部找出来，再去除前n-1页最后得到需要的数据返回，查最后一页就相当于全扫描。

滚动查询和原生查询，一个相当于我们翻书，可以跳，一个相当于长图，看到哪儿显示哪儿，这也是他们的异同点：滚动查询无论查多少数据都可以，但是不能翻页，不支持分页；普通查询，支持翻页分页，但是只支持一万笔以内的数据量

我们可以给初始化查询传递参数scroll=5m ，es会返回一个_scroll_id,这是一个base64编码的长字符串，用于下次查询时传入。5m表示_scroll_id缓存5分钟，之后自动过期，可以根据需要配置。size可以指定每次滚动拉取多少数据。不过如果你做了分片，查询结果可能超过指定的 size 大小。

原理

scroll 具体分爲初始化和遍历两步

• 初始化时将所有符合搜索条件的搜索结果缓存起来，可以想象成快照
• 在遍历时，从这个快照里取数据
• 也就是说，在初始化后对索引插入、删除、更新数据都不会影响遍历结果

游标可以增加性能的原因，是因为如果做深分页，每次搜索都必须重新排序，非常浪费，使用scroll就是一次把要用的数据都排完了，分批取出，因此比使用from+size还好