【ElasticSearch】es 压缩 你的 数据

已于 2023-07-08 22:25:53 修改
阅读量1.5k 收藏 1
点赞数
分类专栏： 大数据-Elasticsearch 文章标签： elasticsearch 大数据 搜索引擎
于 2021-06-22 21:46:54 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/118099716
版权
大数据-Elasticsearch 专栏收录该内容
561 篇文章 548 订阅 ¥79.90 ¥99.00
订阅专栏
本文介绍了如何在 Elasticsearch 中启用 HTTP/TCP 压缩，以减少网络延迟。讲解了不同版本 Elasticsearch 中处理压缩响应的方法，特别是针对 Java 客户端的处理方式，并分享了在不同场景下启用压缩的实践经验。
摘要由CSDN通过智能技术生成

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。有问题可以先私聊我，本人每天都在线，会帮助需要的人。

文章目录


在这里插入图片描述

1.概述

翻译：https://dzone.com/articles/compress-your-data-within-elasticsearch

压缩很棒，使比原始尺寸更小的东西听起来很神奇，但这是可能的。我们从 WinRar、7Zip 或其他工具中了解到这一点。即使 Elasticsearch 具有压缩将在节点和客户端之间丢弃的数据的属性，这对于在处理来自 Elasticsearch 的大量响应时减少网络延迟非常有用。在本文中，我们将涵盖以下主题：

  • 启用 HTTP/TCP 压缩
  • 处理压缩响应
    • Elasticsearch 7.7 及以下
    • Elasticsearch 7.8 及更高版本
    • 未来的 Elasticsear
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Elasticsearch】elasticsearch 压缩索引 shrink
九师兄
05-24 1430
1.概述 关于索引的一些解读，请参考： 【Elasticsearch】elasticsearch 索引 详解 官网 压缩索引 shrink shrink命令可以将一个已有的索引压缩成一个新的索引，同时primary shard会更少。因为以前提到过，primary shard因为涉及到document的hash路由问题，所以是不允许修改的。 但是如果要减少index的primary shard，可以用shrink命令来压缩index。但是压缩后的shard数量必须可以被原来的shard数量整除。 举例来说
ES提高数据压缩的设置——单字段，去掉source和all
weixin_34307464的博客
11-08 892
curl -XPUT 'http://localhost:9200/hec_test3' -d ' { "mappings": { "hec_type3": { "_source": { "enabled": false }, "_al...
京东ES支持ZSTD压缩算法上线了:高性能，低成本
京东科技开发者
03-15 704
京东 ES 支持 ZSTD 压缩算法上线了，这是一种高性能、低成本的压缩算法，能够提高数据存储和传输的效率，同时降低存储和带宽成本。ZSTD 算法是一种快速压缩算法，可提供比其他压缩算法更高的压缩比和更快的压缩速度。这意味着，京东 ES 用户可以更高效地存储和传输数据，同时节省存储和带宽成本。此外，ZSTD 算法还具有更好的可扩展性和鲁棒性，可满足大规模分布式系统的需求。因此，京东 ES 支持 ZSTD 压缩算法上线，将为用户带来更高的性能、更低的成本和更好的体验。01 前言。
Elasticsearch 8.x 存储有无压缩？能压缩到多少？
最新发布
铭毅天下Elasticsearch
07-02 866
1、认知前提Elasticsearch 支持压缩，压缩方式默认为：LZ4 压缩算法。具体参见：The default value compresses stored data with LZ4 compression, but this can be set to best_compression which uses DEFLATE for a higher compression ratio,...
ElasticSearch中压缩算法LZ4的使用
qq_29579431的博客
01-21 3536
简介 lz4是目前效率最高的压缩算法，更加侧重压缩解压速度，而不是压缩比。LZ4是ElasticSearch数据存储的默认编码（压缩）方式，通过index.codec来设置。 压缩原理 lz4压缩算法原理比较简单，如下面例子： 输入：abcde_bcdefgh_abcdefghxxxxxxx 输出：abcde_(5,4)fgh_(14,5)fghxxxxxxx 其中两个括号内的便代表的是压缩时检测到的重复项，(5,4) 代表向前5个byte，匹配到的内容长度有4，即"bcde"是一个重复。当然也可以说"c
elasticsearch存储数据压缩
weixin_40757126的博客
10-30 1682
elk是流行的日志监控分析平台，但es占用存储空间过大，下面介绍几种压缩方案。压缩算法将LZ4改为Deflate，空间占用量可以下降10%。Elasticsearch统计的索引大小是整个索引所占空间空间的大小，整个索引包括很多文件，比如tim词典，tip词典索引，pos位置信息，fdt存储字段信息（_source实际存储的文件），等等。Elasticsearch中"codec": “best_compression” （也就是DEFLATE和LZ4压缩算法），是对fdt这个文件进行压缩。
Elasticsearch压缩索引——lucene倒排索引本质是列存储+使用嵌套文档可以大幅度提高压缩率...
djph26741的博客
01-10 228
注意：由于是重复数据，词法不具有通用性！文章价值不大！ 摘自：https://segmentfault.com/a/1190000002695169 Doc Values 会压缩存储重复的内容。给定这样一个简单的 mapping mappings = { 'testdata': { '_sourc...
Elasticsearch 响应数据压缩功能详解
neweastsun的专栏
03-22 4319
压缩非常奇妙，可以将数据压缩比原始大小更小。我们知道WinRaR，7Zip等压缩工具。Elasticsearch也提供压缩数据功能，可实现对在客户端和服务端节点之间传输数据的压缩。压缩对于处理大数据传输时可减少网络延迟，本文主要内容包括：启用HTTP/TCP压缩，处理Elasticsearch不同版本的压缩的响应信息。 启用HTTP/TCP压缩 ES使得修改HTTP压缩非常容易，仅仅在 elasticsearch.yml文件中提供下面属性即可： http.compression: true http.com
ES压缩算法测试
没有简介
07-04 2721
LZ4 具有更快的压缩与解压速度，而 Deflate 在压缩率上更占优势。两者在性能与压缩率上存在明显的差异，基于现有的压缩算法，用户不能很好的兼容压缩比和性能，Lucene 默认的压缩算法是 LZ4。LZ4与Deflate算法压缩率对比(来源腾讯云/阿里云)压缩算法加载时间(1 Shard)加载时间(5 Shards)Fields(*fdt)文件大小索引总大小写入TPS（doc/s）Deflate对比LZ4写入性能下降10%，压缩率提升20% 公司对手数据分别写入5.6.16和7.10.1两个es版本 >
sqldb2es:自动将数据从SQL数据库同步到ElasticSearch存储库中
04-30
sqldb2es允许通过将ElasticSearch JSon对象（也称为文档）映射到SQL数据库关系数据来定义它们的结构。 安装 并解压缩当前版本为0.9的sqldb2es发行版。 配置 配置文件位于<sqlbd2es> / config文件夹中： 应用程序...
Elasticsearch2.4.4免安装下载
12-04
Elasticsearch 2.4.4 是一个高度可扩展的开源全文搜索引擎，它设计用于处理大量数据并提供快速响应。这个版本是免安装版，意味着用户无需经历繁琐的安装过程，只需解压缩文件，就可以立即开始使用。对于初学者而言，...
ElasticSearch学习篇8_Lucene数据落盘之数据压缩编码（vint、zigzag、writeTLong等）
xiaosi的博客
12-17 4481
Lucene全文检索主要分为索引、搜索两个过程，对于索引过程就是将文档磁盘存储然后按照指定格式构建索引文件，其中涉及数据存储一些压缩、数据结构设计还是很巧妙的，下面主要记录学习过程中的StoredField、DocValue以及磁盘BKD Tree的一些相关知识。Lucene 原理与代码分析完整版.pdf美团外卖搜索基于 Elasticsearch 的优化实践。
【ElasticSearch 进阶】倒排索引 + FOR + RBM压缩算法
weixin_43315211的博客
12-14 1679
Elasticsearch
ElasticSearch核心概念-压缩算法
Cristy_Chen的博客
07-25 1744
100w条数据，1int=4Bytes，则数据索引需约为4MB【太大了】稀疏数组，差值大，deltalist仍然很大，for压缩算法不适用。
Elasticsearch 两个可以用于压缩数据尺寸的特性
weixin_33796205的博客
04-21 209
Doc Values Doc Values 会压缩存储重复的内容。 给定这样一个简单的 mapping mappings = { 'testdata': { '_source': {'enabled': False}, '_all': {'enabled': False}, 'p...
Elasticsearch大数据查询优化(RequestOptions gzip压缩)
不吃肥肉的傲寒
07-13 747
有时候我们在ES的查询的数据量比较大（字段较多&数据量比较大）。怎样去优化一个查询速度。采用Java es client开启数据gzip压缩
JAVA面试小结三十七：es压缩算法详解
之乎者也·的博客
10-30 303
首先回答前两个问题：数组肯定可以压缩，而且正是我们需要去做的；用FOR算法在这里进行压缩是可以的，不算错，但是我们说不合适，正如在FOR算法中介绍的那样，压缩的同时我们还有考虑解码时的效率，其实这里已经经过除法做了一次处理了，那么再用减法做一次处理，再解码时效率会降低不少，所以我们追求的是一种解码更加容器，但又能具备压缩能力的方法。但数值大小很大时，减法能够达到的效果是不明显的，比如100W,200W,300W,相减后是100W,100W,100W，依然很大，这时的压缩效果很不理想，所以引入了RBM算法。
Elasticsearch数据压缩
05-31
Elasticsearch使用多种压缩算法来压缩数据，以节约存储空间和提高查询性能。以下是Elasticsearch中常用的数据压缩算法： 1. LZF压缩：LZF压缩是一种快速的压缩算法，它可以在不影响查询性能的情况下压缩数据。 2. Snappy压缩：Snappy压缩是一种高速压缩算法，它可以在压缩率和CPU消耗之间取得平衡。 3. Gzip压缩：Gzip压缩是一种通用的压缩算法，它可以在不同类型的数据上取得很好的压缩效果，但是会对查询性能产生一定的影响。 在Elasticsearch中，可以通过在索引创建时设置压缩方式来选择数据压缩算法。例如： PUT /my_index { "settings": { "index.codec": "best_compression" } } 上面的示例中，"best_compression"表示Elasticsearch会尝试使用最佳的压缩算法来压缩数据。如果需要手动指定压缩算法，可以使用以下命令： PUT /my_index { "settings": { "index.codec": "snappy" } } 上面的示例中，"snappy"表示Elasticsearch会使用Snappy算法来压缩数据。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值