ES为什么那么牛——Elasticsearch存储解析

已于 2022-01-29 18:32:20 修改
阅读量2.7k 收藏 8
点赞数 3
分类专栏： 性能优化 架构设计 分布式开发 文章标签： ELK es Lucene 索引
于 2021-05-23 16:02:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34417408/article/details/117196166
版权
本文详细解析了Elasticsearch作为文档型数据库的架构，深入探讨其基于Apache Lucene的索引结构，包括倒排索引、时间复杂度、空间复杂度等，并介绍了如何通过FST压缩技术和Roaring Bitmap优化内存占用。文章还提到了Elasticsearch在面对大规模数据时的挑战，如内存限制，并预告了后续将讨论的相关解决方案。
摘要由CSDN通过智能技术生成

文章目录


本文仅针对ES存储部分进行解析，其他部分请关注后续博文，欢迎技术交流！
了解更多，请关注 公众号 “ code 杂坛 “！

Elasticsearch

监控全家桶 ELK/EFK，其中的 E 就是 ES(Elasticsearch)。Elasticsearch「开发语言 Java」最早于 2010 年 2 月发布，是一款分布式可扩展的实时检索分析组件。它不仅是一款文档型数据库，也是基于全文搜索引擎 Apache Lucene 之上的一款检索引擎。

Elasticsearch 架构

了解本专栏 订阅专栏 解锁全文 超级会员免费看
魏小言
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
订阅专栏
elasticsearch基础6——head插件安装和web页面查询操作使用、ik分词器_elasticsearch-head
2401_84166896的博客
04-29 777
分析插件是一类插件，可通过向es中添加新的分析器、标记化器、标记过滤器或字符过滤器等扩展es的分析功能。Head 插件首页由 4 部分组成：节点地址输入区域、信息刷新区域、导航条、概览中的集群信息汇总。1.安装node.js环境，注意版本不要太高，不然会跟linux本身的依赖库包版本冲突报错。2.解压es-head安装包，安装依赖。1.列出当前已安装的插件。这里显示的就是我们已经安装了一个ik分词器插件。5.修改es配置文件，添加如下两行，解决跨域问题。6.重启es，es-head就可以连接es了。
ES 的存储原理
Sword52888的博客
12-23 8590
es 剖析
ES性能调优
m0_67827628的博客
09-19 231
ES是天生自带分布式属性的，并且ES的分布式系统是基于对等网络的，节点与节点之间的通信十分的频繁，延迟对于ES的用户体验是致命的，所以对于ES来说，低延迟的网络是非常有必要的。就短信发送而言并无太大问题，但是在项目初期，在建立短信发送记录的时候，并没有在意索引结构的设计，而是将新产生的数据不断的追加到一个索引中，但是后期发现短信发送量级过于庞大，每天都产生上几百GB甚至是TB级的日志数据，后期的优化手段就是把一个单独的大索引，通过Rollover Index，每天创建一个单独的索引。短期内问题得到了解决。
Elasticsearch 8.x 存储有无压缩？能压缩到多少？
最新发布
铭毅天下Elasticsearch
07-02 812
1、认知前提Elasticsearch 支持压缩，压缩方式默认为：LZ4 压缩算法。具体参见：The default value compresses stored data with LZ4 compression, but this can be set to best_compression which uses DEFLATE for a higher compression ratio,...
Es存储和查询
weixin_32128491的博客
07-13 1099
副本策略对index中的每个分片创建冗余的副本，处理查询时可以把这些副本当做主分片来对待（primary shard），此外副本策略提供了高可用和数据安全的保障，当分片所在的机器宕机，Elasticsearch可以使用其副本进行恢复，从而避免数据丢失。，N个分片会被尽可能平均地（rebalance）分配在不同的节点上（例如你有2个节点，4个主分片(不考虑备份)，那么每个节点会分到2个分片，后来你增加了2个节点，那么你这4个节点上都会有1个分片，这个过程叫relocation，ES感知后自动完成)
ES 性能优化
树和叶的博客
05-17 190
性能优化 缓存 es 的搜索引擎严重依赖于底层的filesystem cache，你如果给filesystem cache更多的内存，尽量让内存可以容纳所有的idx segment file 索引数据文件，那么你搜索的时候就基本都是走内存的，性能会非常高。 数据预热 es 集群中每个机器写入的数据量还是超过了filesystem cache一倍，比如说你写入一台机器 60G 数据，结果filesystem cache就 30G，还是有 30G 数据留在了磁盘上。 其实可以做数据...
Elasticsearch (ES): 实时分布式存储、搜索、分析引擎
Rainbow
11-06 5665
Elasticsearch，简称为ES。ES是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据。Elasticsearch是面向文档的一种数据库，这意味着其不再需要行列式的表格字段约束。ES会存储整个构造好的数据或文档，然而不仅仅是储存数据，这使得文档中每个数据可以被标识，进而可以被检索。在ES中，执行index，search，sort或过滤文档等操作都不是传统意义上的行列式的数据。ES从根本上对数据的不同思考方式也正是他能应对复杂数据结构的全文检索的原因之一。
【ElasticSearch】es基本了解
海棠不惜胭脂色，独立蒙蒙细雨中
08-26 721
es可做搜索引擎，也常用语搭建ELK系统做日志分析。 搜索引擎： es最基本的有三个名词我们要知道：索引，类型，文档。索引相当于mysql数据库，类型相当于表结构，文档相当于行数据。 索引： 倒排索引：又叫反向索引。根据文档内容中的关键字建立索引，叫倒排索引。 类型： 表示字符串的有keyword、text； keyword：直接建立反向索引 text：先分词，后建反向索引 es在lucene的基...
es mysql 存储结构_Elasticsearch 存储结构
weixin_39989384的博客
01-18 389
本章从使用角度介绍Elasticsearch的数据模型，而不是分析Elasticsearch底层的存储结构，教程的目的是帮助大家快速上手ES，我们要使用ES得先知道ES是怎么存储数据的，结构是怎么样的。我们都知道MYSQL的数据模型由数据库、表、字段、字段类型组成，自然ES也有自己的一套存储结构，下面先介绍ES存储相关的概念，然后跟MYSQL做一下对比方便大家理解。提示：MYSQL 是关系数据库，...
Elasticsearch实战与原理解析 源代码.zip
06-06
Elasticsearch是一个开源的全文搜索引擎，它以分布式、RESTful接口和实时性为特点，广泛应用于数据搜索、分析和监控。这份"**Elasticsearch实战与原理解析 源代码**"的压缩包文件提供了关于这个强大工具的实践案例和...
项目实战——Spark将Hive表的数据写入ElasticSearch（Java版本）
10-24
在本项目实战中，我们将探讨如何使用Java编程语言，结合Spark和Hive，将Hive中的数据高效地导入到ElasticSearch（ES）中，并利用ES的别名机制实现数据更新的平滑过渡。以下是对这个流程的详细解析： 1. **Hive数据...
【ES专题】ElasticSearch集群架构剖析_es集群
2401_84159688的博客
04-28 949
诸如。
ES存储学习（未完）
qq_44801344的博客
02-27 1327
ES就是Elastisearch；是一个基于java语言作为源码的全文检索引擎，可以存储结构化和非结构化数据，能够实现数据分析和数据存储。
ElasticSearch基础-ES存储查询原理、倒排索引、脚本操作ES、分词器、ES JavaAPI
weixin_45195665的博客
11-29 1432
基础篇 1 初识ElasticSearch 先来认识一下ES的作用 应用案例： 1、课程管理服务将数据写到MySQL数据库 2、使用Logstash将MySQL数据库中的数据写到ES的索引库。 3、用户在前端搜索课程信息，请求到搜索服务。 4、搜索服务请求ES搜索课程信息。 1.1 基于数据库查询的问题 索引：就是数据的一个定位关系，用于快速查找相应的数据 ​ 1，在插入数据后添加索引 ​ 2，数据的维护会增强索引的维护工作量 3，索引不适合太多，查找索引本身也需要时间 4，索引本身也占存
ElasticSearch（1）ES数据的存储和搜索原理
учёба
01-10 8726
ElasticSearch简称为ES，以后就使用ES作为描述了 一： 前提内容 1.1 es ElasticSearch就是一个搜索服务器 说明其就是一个软件，安装之后就可以使用了 搜索： 搜索就是查询 1.2 关系型数据库查询的问题 问题1：如果使用模糊查询，左边有通配符（%等），不会走索引，会全表扫描，性能低 使用通配符后，在数据表中的当前列上作用的索引会失效（当数据比较多时，可以对列名加上索引，提升查询的性能） 问题2：关系型数据库提供的查询，功能太弱 二： 倒排索引 前面两种问题可以通过
ES数据存储和集群路由原理
Java架狗师知识框架速查表
10-19 2620
不过对于 Elastic Stack 的日志场景来说，恰恰相反，我们并不需要如此高的实时性，而是需要更快的写入性能。既然涉及到磁盘，那么一个不可避免的问题就来了：磁盘太慢了！​​​这一步刷到文件系统缓存的步骤，在 Elasticsearch 中，是默认设置为 1 秒间隔的，对于大多数应用来。如果每次一条数据写入内存后立即写到硬盘文件上，由于写入的数据肯定是离散的，因此写入硬盘的操。以在线动态服务的层面看，要做到实时更新条件下数据的可用和可靠，就需要在倒排索引的基础上，再。中，此时写入的数据还不能被查询到。
文档存储Elasticsearch系列--1 ES介绍
拽着尾巴的鱼儿的博客
02-03 2231
文档存储Elasticsearch系列--1 ES介绍
ES数据存储与查询基本原理
Steve Wang's blog
05-02 3105
ES简介、ES核心概念、ES读写原理
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

魏小言

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值