【Elasticsearch核心原理与索引分析】

最新推荐文章于 2024-07-25 17:09:29 发布
最新推荐文章于 2024-07-25 17:09:29 发布
阅读量994 收藏 5
点赞数
文章标签： elasticsearch 搜索引擎 lucene
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42044174/article/details/129657196
版权

Elasticsearch核心原理与索引分析

Elasticsearch存储原理深入剖析

什么是ES？

Elasticsearch：基于Lucene的搜索服务器，分布式全文搜索引擎

ES核心概念：Index、Type、Document、Lucene

ESMySQL
索引 Index数据库 Database
类型 Type表 Table
文档 Document数据行 Row
字段 FieldColumn
Lucene 存储引擎

Lucene

开源全文检索引擎工具包，但不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的索引引擎和查询引擎，部分文本分析引擎

在这里插入图片描述

Lucene—分词器

1.字符过滤器

  • 过滤特殊字符

2.分解器

3.词源过滤器

  • 大小写转换
  • 停用词过滤

在这里插入图片描述

Lucene—倒排

1.Document Frequencyl

  • 文档词频

2.Frequencyl

  • 词频率

在这里插入图片描述

Lucene—FST

Lucene的FST（Finite-State Transducers）是一种高效的数据结构，是Lucene用来构建和管理自动机的一部分。在FST中，任何字符串都可以看作一个有限状态机，每个状态代表着字符串的某个前缀。FST基于原理：序列化哈希值，通过将无序键序列化到字节数组中，强制所有的比较和排序在序列化字节上进行。

FST的实现主要有以下几个步骤：

  1. 建立有序键列表

在创建FST之前，需要将所有的键按照特定的规则排序，并且去重。这样就得到了一个有序的键列表，可以在FST中使用。

  1. 构建FST树

FST树的结构是由有序键列表构建而成的，每个节点代表着一个键前缀。FST树被划分为两个部分，即前缀区和后缀区。前缀区包含所有共享前缀的键，后缀区包含余下的键。前缀区采用自动机结构，可以高效地处理有限状态机。

  1. 优化FST

FST的性能取决于它的大小，因此需要对FST进行优化，以减小它的体积。这包括压缩指针和状态块，合并节点和压缩转换。

  1. 使用FST

完成FST的构建和优化后，可以使用FST进行各种操作，例如前缀搜索、完全匹配搜索、范围查询等等。这些操作都是基于FST的自动机结构实现的，可以快速高效地处理大量数据。

总之，Lucene的FST是一种高效的数据结构，可以用来构建和管理自动机，它具有高度的压缩性和空间效率，能够帮助Lucene提高搜索和排序的效率。

1.Finite State Transducerl

  • 有限状态传感器

2.字典表的查找
3.TRIE树的优化
在这里插入图片描述

Lucene—FST
  1. 共享前缀
  2. 共享后缀
  3. 通过output定位Term
    在这里插入图片描述
Lucene—SKIPList

Lucene的SKIPList（跳表）是一种基于多级索引的有序数据结构。在跳表中，每个节点包含了一个键和对应的值，通过多级索引的方式，可以高效地实现有序的遍历和搜索。与二叉搜索树相比，跳表可以保证O(log n)的时间复杂度，具有更高的效率和可扩展性。

以下是Lucene的SKIPList的构建过程：

  1. 初始化

在创建跳表之前，需要先初始化一个头部节点，该节点包含两个值：MAX_VALUE和null，其中MAX_VALUE代表正无穷，表示跳表的最大值。

  1. 插入新节点

当需要插入一个新的节点时，从头部节点开始遍历，通过比较当前节点和待插入节点的值，找到合适的插入位置。新节点需要随机生成一个层数，然后将其插入到每一层中对应的位置上。

  1. 删除节点

当需要删除一个节点时，同样从头部节点开始遍历，找到目标节点并删除该节点。同时，需要在每一层中将指向该节点的指针都删除。

  1. 查找节点

当需要查找一个节点时，同样从头部节点开始遍历，通过比较当前节点和目标值的大小，不断移动到下一个节点，直到找到目标节点或者到达最后一个节点。

总之，Lucene的SKIPList是一种高效的有序数据结构，它可以帮助Lucene实现快速而稳定的搜索和排序。SKIPList的精髓在于多级索引的设计，它可以缩小搜索范围，提高搜索效率，同时还能够支持高效的插入、删除和查找操作。

  1. 倒排中文档ID有序
  2. 跳跃间隔
  3. 层次
    在这里插入图片描述
索引的写入效率如何保证？

保证索引的写入效率是Elasticsearch中至关重要的一点，以下是一些方法可以用来提高索引的写入效率：

  1. 批量写入：将多个文档合并成一个请求，减少网络传输和连接开销。在处理大批量数据时，可以考虑使用bulk API，这样可以在单次请求中批量索引、更新或删除多个文档。

  2. 禁止自动刷新：自动刷新意味着每次写入操作都会被实时刷新到磁盘中，这会增加IO操作和CPU负担。禁用自动刷新可以通过在写入之前设置"refresh_interval"或“refresh=false”来实现，然后在批量写入全部完成后再手动触发一次刷新。

  3. 配置内存缓存：Elasticsearch使用内存缓存来提高写入性能，可以通过配置缓存大小或者使用mlockall来减少交换内存导致的性能问题。同时，注意避免过度分片和副本，因为这会占用更多的内存资源。

  4. 使用异步刷新：在Elasticsearch的高版本中，支持异步刷新，即把刷新操作放到后台线程中执行，避免了每次刷新都需要消耗大量的CPU和IO资源。可以通过设置“index.refresh_interval=-1”和“index.translog.durability=async”来实现。

  5. 使用快速硬件：硬件环境对写入性能也有很大影响，使用更快的硬件如SSD和NVME SSD可以提高磁盘I/O的吞吐量和响应速度。同时，还可以考虑将数据和日志分开存储，以减轻存储设备的压力。

  6. 检查代码逻辑：最后，还需要检查代码逻辑，确保代码没有不必要的重试、死循环等问题，避免过于频繁的写入操作。

总之，要保证索引的写入性能，需要综合考虑各方面的因素，包括批量写入、禁用自动刷新、配置内存缓存、使用异步刷新、选择高速硬件等等。

Lucene数据组织
  1. 将倒排拆分成多个Segment
  2. commit point记录可用Segment
  3. 新文档在内存缓存，根据策略commit
    在这里插入图片描述
Segment操作
  1. 文档更新/删除
    del文件标记删除
    结果聚合后过滤
  2. reflushl
    内存数据写入Segmentl
    打开Segment
  3. flush
    translog解决掉电丢数据问题
    作用同Redolog、WAL
  4. Sement合并
    解决Segment过多问题
    清理历史数据
    在这里插入图片描述

1、实时刷盘性能低2、缓存文件可以打开（可以被搜索到）3、后台刷盘
在这里插入图片描述

ES数据存储过程

在这里插入图片描述

Elasticsearch系统架构深入剖析

ES整体架构

  1. Gateway(存储方式)
  2. Distributed Lucene Directory
Distributed Lucene Directory是一种Lucene扩展，它允许将Lucene索引存储在分布式的文件系统中，通过多个Lucene实例共享这些索引。 这种扩展在大规模应用程序中是非常有用的，因为它允许灵活地扩展Lucene索引并提供高可用性。

使用Distributed Lucene Directory可以将一个大的Lucene索引分散到多个机器上，以适应处理大量数据和并发查询的需要。这种分布式架构可以减少单个节点的压力和故障对整个系统的影响。

具体地说，Distributed Lucene Directory通过将Lucene索引划分成多个shard，并将这些shard分配到多台计算机上，来实现分布式的Lucene索引。每个Lucene实例都可以直接访问自己分配的shard，当需要查询所有索引时，可以将查询发送到所有分散的Lucene实例中。

在实现过程中，可以选择不同的分布式文件系统，如Hadoop HDFS、GlusterFS、NFS等，作为分布式的Lucene索引存储，以满足不同的应用场景需求。此外，Distributed Lucene Directory还可以通过多个Lucene实例集群来实现高可用性和负载均衡。

综上所述，Distributed Lucene Directory是一种强大的Lucene扩展，它可以帮助解决大规模应用程序中的高并发和高可用性问题，提高系统的稳定性和性能。
  1. Mapping 定义field
  2. Discovery集群节点发现
  3. Transport
    内部节点和client交互协议
  4. JMX 监控
  5. Java(Netty) 开发框架
    在这里插入图片描述

ES集群架构

  1. Clusterl
    分布式架构，多个节点提供服务
  2. Node 节点
    集群中的一个节点
    节点对应的是ES实例，一个机器部署多个实例

Node 节点划分

  1. master
    主要用于元数据(metadata)的处理。比如索引的新增、删除、分片分配等
  2. data
    保存了数据分片，负责数据相关操作。比如搜索、整合、分片crud
  3. client
    路由请求的作用，实际上可以看做负载均衡器

Shard 分片
将一个索引中的数据切分成多个shard
分布式下，shard 可以横向水平扩展
每个shard都是一个lucene索引结构

Replication 副本
primary shard & replica shard
高可用方案
副本数据：强一致和最终一致

1.Node类型设置
node.master
node.data
node.ingest
2.Shard
分片数确定后不可变更l SSD
10G一个Shard
3. Replication
副本数可以调整

在这里插入图片描述
master节点：node.master: true node.data: false node.ingest:false
data节点：node.master: false node.data: true node.ingest:false
client：node.master: false node.data: false node.ingest:true

ES集群架构—关键技术

  1. 集群发现
    单播/多播
    种子节点列表+Gossip
  2. 选主
    发起时机：通过ping其他节点发现集群失去Master超过一段时间
    选举策略：clusterStateVersion，集群状态数据越新优先级越高ID，节点ID越小优先级越高
    选举结果：多数派原则

Elasticsearch应用场景分析

ES索引构建

索引构建：将其他数据源的数据，通过index模块在ES中生成倒排索引

需求分析
1.功能需求
多数据源的情况
多业务线的情况l使用的方便性
2. 性能需求
延迟要求
吞吐量需求
在这里插入图片描述

ES索引构建

索引构建：将其他数据源的数据，通过index模块在ES中生成倒排索引

在这里插入图片描述

  1. ES index的核心逻辑
    Ø 倒排索引
    Ø 对DB数据的映射
  2. transform 核心逻辑
    Ø 数据获取
    Ø 数据操作
    在这里插入图片描述
    1. 源数据获取
    业务数据访问层
    自行获取
    在这里插入图片描述

Elasticsearch索引构建架构设计实践

ES索引构建—代码实现

  1. 解析配置
    在这里插入图片描述

  2. 执行SQL构建Item
    在这里插入图片描述
    在这里插入图片描述

  3. 更多handle
    在这里插入图片描述
    在这里插入图片描述

  4. ES批量写入
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

ES索引构建—高性能设计

  1. 线程模型
    队列+线程
    在这里插入图片描述

  2. 批量操作
    相同的流程SQL
    相同的处理过程
    在这里插入图片描述

  3. 多业务流程
    在这里插入图片描述

ES索引构建—高性能设计

在这里插入图片描述
在这里插入图片描述
代码实现—Deliver 实现
在这里插入图片描述
在这里插入图片描述
代码实现—process实现
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

整体流程

在这里插入图片描述

ElasticSearch之所以具有高性能，主要是因为以下几个方面：

  1. 基于倒排索引

ElasticSearch使用了Lucene的倒排索引机制，将存储数据的方式从按行存储改为按列存储，以使得搜索更加快捷。当我们要查询某个词语时，倒排索引可以通过查找该词在所有文档中的出现次数及其位置来快速定位匹配的文档。

  1. 分片和副本机制

ElasticSearch将索引拆分成多个分片，并且为每个分片创建多个副本，避免了单点故障。这种设计不仅提高了查询效率，同时还能够提高系统的可靠性和可用性。

  1. 自动并发控制

在多线程并发访问情况下，ElasticSearch自动控制并发请求，保证读写操作的正确性，同时避免了因竞争而导致的线程阻塞问题。

  1. 使用缓存

ElasticSearch使用了多种缓存技术，例如：近期使用的term、过滤器等信息都会缓存在内存中，以加速搜索。 此外，ElasticSearch还提供了一个可插拔的缓存接口，用户可以根据需要选择合适的缓存策略。

  1. 支持分布式计算

ElasticSearch支持分布式计算，可以将查询分发到各个节点上，然后由各个节点分别计算，最后将结果合并返回给客户端。这种方式既加快了计算速度，又保证了系统的可扩展性。

综上所述，ElasticSearch具有基于倒排索引、分片和副本机制、自动并发控制、使用缓存以及支持分布式计算等多重优势，使其具有很高的性能。

Elasticsearch搜索架构设计实践

ES搜索架构设计

  1. Search

  2. Proxy

  3. ES Cluster
    在这里插入图片描述

ES搜索架构设计—Proxy作用

  1. 屏蔽ES复杂度

  2. 对客户端请求进行限制和优化

  3. 屏蔽客户端危险操作(删除索引）

ES搜索架构设计—Proxy设计

  1. 多业务支持
    配置化索引

  2. 对解析方法可插拔
    索引字段解析
    handler模块化
    在这里插入图片描述

ES搜索架构设计—handler设计

在这里插入图片描述
在这里插入图片描述

ES搜索架构设计—业务逻辑层

  1. 请求解析

  2. AB实验策略及管理

  3. Query分析

  4. 召回计划(生成和发送)

  5. 召回后处理(模型排序、业务干预)

  6. 缓存处理(优化服务性能)

  7. 结果封装(AB信息等)
    在这里插入图片描述

Elasticsearch应用调优

ES应用调优—脑裂

  1. Master节点负载过
  2. FullGC
    在这里插入图片描述
    Master节点数据分离
    节点个数 N/2+1

ES应用调优—调大系统句柄数

  1. 查看：ulimit -a

  2. 设置：ulimit -n XXX/unlimited

操作系统中的句柄（handle）是用于管理应用程序资源的一种机制，如文件、套接字、进程等。在高负载的系统中，如果应用程序涉及到大量的资源管理操作，往往需要增加系统句柄数以避免资源瓶颈。以下是在Linux系统上调大句柄数的方法：

  1. 查看当前系统句柄数：
ulimit -a
  1. 编辑/etc/security/limits.conf文件增加以下两行：
* soft nofile 1024000
* hard nofile 1024000

其中soft表示软限制，hard表示硬限制，这里分别设置为1024000，即软限制和硬限制都为1024000。

  1. 编辑/etc/sysctl.conf文件并增加以下两行：
fs.file-max = 655350
vm.max_map_count = 262144

其中fs.file-max设置为655350，vm.max_map_count设置为262144。

  1. 执行以下命令使新配置生效：
sysctl -p
  1. 重新登录或重启服务器使新配置生效。

在以上步骤中，通过修改/etc/security/limits.conf和/etc/sysctl.conf文件来改变系统句柄的限制值，并使用sysctl命令使设置生效。重要的是要注意修改完毕后需要重新登录或重启服务器，才能让句柄数目真正生效。另外，系统句柄数需要根据系统负载和具体的应用程序需求进行适当调整，不要盲目提高句柄数目。

ES应用调优—锁定物理内存

  1. memory_lock锁定物理内存

  2. 减少内外存交换

ES应用调优

  1. 合理设置分片数
    分片不能修改
    10G

  2. 合理设置副本数
    可以调整，
    影响写入性能
    影响磁盘空间

ES应用调优—定时合并索引

  1. 占用内存

  2. 占用文件句柄

ES应用调优—关闭不使用索引

  1. 释放不必要的内存空间

ES应用调优—合理数据导入

  1. 导入时不需要副本

  2. 索引创建完成后恢复副本

ES应用调优—去掉_all

  1. 去掉mapping中的_all域

  2. 减小索引尺寸

手指改变世界
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
32-32-Elasticsearch核心原理与索引分析（2）_ev es源码 没用
okbin1991的博客
10-26 21
ElasticSearch学习笔记(一)倒排索引、ES和Kibana安装、索引操作
挑灯日记 记录自己
06-20 1040
为此，IK分词器提供了强大的停用词功能，让我们在索引时就直接忽略停用词汇表中的内容。但根据关键词查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的关键词，是。倒排索引结构虽然不复杂，但是一旦数据结构改变（比如改变了分词器），就需要重新创建倒排索引，这又是无法接受的。先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快，而无需全表扫描。但由于网络问题，拉取失败了。则相反，是先找到用户要搜索的词条，根据词条得到保存词条的文档的id，然后根据id获取文档，是。
30-30-Elasticsearch核心原理与索引分析（1）_ev 0230后开始ES讲解 一般有用 看1
okbin1991的博客
10-26 28
Elasticsearch基本概念与核心原理
Tyshawn的博客
12-20 1295
本文基于Elasticsearch7.x版本. 什么是Elasticsearch Elasticsearch是一个分布式的搜索引擎和数据分析引擎, 提供了全文检索, 同义词处理, 相关度排名, 复杂数据分析, 海量数据的近实时处理等功能, Elasticsearch作为传统数据库的一个补充, 提供了很多数据库所不不能提供的功能. Elasticsearch的核心概念 Elasticsearch...
【Elasticsearch】Elasticsearch倒排索引详解
热门推荐
屿小夏.的知识博客
07-08 4万+
倒排索引是全文搜索引擎的核心数据结构，其主要作用是从文档中提取关键词，并建立关键词到文档的映射关系。这种结构与传统的正排索引（即文档到关键词的映射）相反，因此称为倒排索引。在倒排索引中，每个关键词都关联着包含该关键词的文档列表，这使得搜索操作能够迅速定位包含特定关键词的文档，从而大幅提高查询效率。
Elasticsearch 核心原理
杨宇昌的博客
04-30 996
Elasticsearch 核心原理、Posting List、FST、Frame of Reference索引帧、Roaring Bitmaps 咆哮位图、跳表Skip list
Elasticsearch核心原理系列：10张图理解Elasticsearch核心概念
12-26 5857
Elasticsearch（以下称之为ES）是一款基于Lucene的分布式全文搜索引擎，擅长海量数据存储、数据分析以及全文检索查询，它是一款非常优秀的数据存储与数据分析中间件，广泛应用于日志分析以及全文检索等领域，目前很多大厂都基于Elasticsearch开发了自己的存储中间件以及数据分析平台。
Elasticsearch－基础介绍及索引原理分析
是什么让你停止不前？
11-10 4301
转：https://www.cnblogs.com/dreamroute/p/8484457.html 介绍 Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作: 分布式实时文件存储，并将每一个...
ElasticSearch索引核心原理
吴振照
10-19 476
FST有穷状态转换器： 　　Finite StateTransducers 简称 FST，通常中文译作有穷状态转换器或者有限状态传感器 　　FSTs are finite-state machines that map a term (byte sequence) to an arbitrary output。FST是一项将一个字节序列映射到block块的技术 　　假设我们现在要将mop...
ElasticSearch倒排索引原理与代码实例讲解
禅与计算机程序设计艺术
06-08 544
1.背景介绍 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。ElasticSearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
Elasticsearch实战与原理解析 源代码.zip
06-06
这份"**Elasticsearch实战与原理解析 源代码**"的压缩包文件提供了关于这个强大工具的实践案例和源代码，旨在帮助用户深入理解和掌握Elasticsearch的核心功能和工作原理。 首先，我们要了解Elasticsearch的基本概念...
大型网站技术架构核心原理与案例分析
06-30
《大型网站技术架构核心原理与案例分析》这本书深入探讨了构建和优化大型网站所需的关键技术和实践，对于希望成为或已经是架构师的专业人士来说，是一本不可或缺的参考书。书中不仅涵盖了理论知识，还通过实际案例...
大型网站技术架构_核心原理与案例分析_李智慧
11-05
《大型网站技术架构_核心原理与案例分析_李智慧》这本书深入浅出地探讨了互联网行业中大型网站在设计、建设和优化过程中所面临的关键问题及解决方案。以下是对书中的主要知识点的详细解读： 一、网站架构概述 大型...
EleasticSearch核心原理详细分析.pdf
04-25
Elasticsearch（ES）是一种基于Lucene的分布式搜索引擎，它以高效、可扩展性和实时性著称。ES的核心原理在于其分布式特性和集群管理。在深入理解这些原理之前，我们首先需要了解几个基本概念。 **一、ES集群** ES...
css in js 相比较 css modules 有什么好处？
前端原创分享，常年坚持记录和分享，全网阅读量超百万
07-25 378
CSS-in-JS 和 CSS Modules 都是用于管理 React 组件样式的流行方案，它们各有优势。动态样式：CSS-in-JS 可以轻松创建基于 props 或状态的动态样式，更灵活地处理复杂的样式逻辑。无需额外的构建配置：大多数 CSS-in-JS 解决方案可以直接使用，不需要额外的 webpack 配置。无需命名约定：CSS-in-JS 自动生成唯一的类名，避免了命名冲突，不需要遵循特定的命名规范。运行时优化：一些 CSS-in-JS 库支持运行时的样式优化，只加载当前渲染所需的样式。
Git操作指令（随时更新）
hsx18787462705的博客
07-24 533
【代码】Git操作指令。
Boost搜索引擎：如何建立 用户搜索内容 与 网页文件内容 之间的关系
2201_75324712的博客
07-23 1354
正排索引就是文档ID与文档之间的关系。正排索引文档ID文档内容0文档11文档2正排索引的建立，就是将文档ID与文档内容之间进行直接关联。如上表所示。那问题来了，该如何关联呢？我们可以利用线性表，如数组，数组下标与文档ID正好是对应的，我们将解析出来的数据进行提取，存放到一个包含 标题（title)，内容(content)，url(网址信息)的结构体，再将结构体放到数组中，这样就建立好了正排索引。
Langchain核心模块与实战[9]：RAG检索增强生成[文本向量化、实战ChatDoc智能文档助手]
最新发布
丨汀、的博客
07-25 90
Langchain核心模块与实战[9]：RAG检索增强生成[文本向量化、实战ChatDoc智能文档助手]
Elasticsearch索引入门与Lucene原理解析
"此资源是一个关于Elasticsearch索引的PPT介绍，适合用于项目培训，内容涉及索引的创建、管理以及文档的处理，还涵盖了Elasticsearch与Lucene的关系，字段类型的变化以及自定义分析器等核心概念。" Elasticsearch ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值