ElasticSearch中压缩算法LZ4的使用

最新推荐文章于 2024-07-02 07:30:27 发布
最新推荐文章于 2024-07-02 07:30:27 发布
阅读量3.5k 收藏 4
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch lucene
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29579431/article/details/112917489
版权
本文介绍了ElasticSearch中LZ4压缩算法的原理和应用。LZ4侧重于快速压缩和解压，而非高压缩比。文章详细讲解了LZ4的压缩格式，包括Sequence结构、字面序列长度和匹配长度的表示，以及特定的压缩规则。通过实例展示了压缩过程，包括计算hash和找到相同数据区间的步骤。同时提供了Lucene 7.7.3版本中的LZ4压缩代码示例。
摘要由CSDN通过智能技术生成

简介

lz4是目前效率最高的压缩算法，更加侧重压缩解压速度，而不是压缩比。LZ4是ElasticSearch数据存储的默认编码（压缩）方式，通过index.codec来设置。

压缩原理

lz4压缩算法原理比较简单，如下面例子：

输入：abcde_bcdefgh_abcdefghxxxxxxx
输出：abcde_(5,4)fgh_(14,5)fghxxxxxxx

其中两个括号内的便代表的是压缩时检测到的重复项，(5,4) 代表向前5个byte，匹配到的内容长度有4，即"bcde"是一个重复。当然也可以说"cde"是个重复项，但是根据算法实现的输入流扫描顺序，我们取到的是第一个匹配到的，并且长度最长的作为匹配。

压缩格式

Sequence是LZ4最小数据单元，格式如下：

Token(1字节) Literal length+ 字面序列长度(0~n字节) 字面序列 Offset(2字节) Match length+ 匹配长度(0~n字节)
匹配长度(低4位) 字面序列长度(高4位)

在这里插入图片描述

  1. token占一字节，其中高四位表示字面序列长度，低四位表示匹配长度。
  2. 字面序列长度即使字面序列的字符个数；匹配长度即是匹配序列的字符个数
  3. 因为字面序列长度以及匹配长度都占四个字节，最大为15。如果长度比15大的话，则将剩余的部分存到Literal length+和Match length+中。例如，字面序列长度为375，则Token的高4位为全1(即15)，Token的后一个字节为255，再后一个字节为105。
  4. offset为匹配序列的偏移量。
  5. 当Token足以存下字面序列长度时，Token后面就是字面序列。当Token足以存下匹配长度时，Offset后面的字节将是EOF或者另外一个sequence。

LZ4算法还有一些特定的规则：

  1. 被压缩文本的最后5个byte只能用原文表示。
  2. 最后一次匹配的开始位置到文本末尾不能少于12个byte。
  3. 如果被压缩文本的长度小于13个byte,那么用原文表示会更节省空间。

举例

压缩过程分为两步
步骤一：计算hashÿ

最低0.47元/天 解锁文章
xiaobo_z
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【ElasticSearch】es 压缩 你的 数据
九师兄
06-22 1542
压缩很棒，使比原始尺寸更小的东西听起来很神奇，但这是可能的。我们从 WinRar、7Zip 或其他工具中了解到这一点。即使 Elasticsearch 具有压缩将在节点和客户端之间丢弃的数据的属性，这对于在处理来自 Elasticsearch 的大量响应时减少网络延迟非常有用。启用 HTTP/TCP 压缩处理压缩响应Elasticsearch 7.7 及以下Elasticsearch 7.8 及更高版本未来的 Elasticsearch 版本 7.9 和 8.0。
elasticsearch学习笔记
03-22
ES操作简单介绍,入门级精通，好好学习
Elasticsearch 8.x 存储有无压缩？能压缩到多少？
最新发布
铭毅天下Elasticsearch
07-02 732
1、认知前提Elasticsearch 支持压缩，压缩方式默认为：LZ4 压缩算法。具体参见：The default value compresses stored data with LZ4 compression, but this can be set to best_compression which uses DEFLATE for a higher compression ratio,...
【ElasticSearch 进阶】倒排索引 + FOR + RBM压缩算法
weixin_43315211的博客
12-14 1586
Elasticsearch
elasticsearch存储数据压缩
weixin_40757126的博客
10-30 1585
elk是流行的日志监控分析平台，但es占用存储空间过大，下面介绍几种压缩方案。压缩算法将LZ4改为Deflate，空间占用量可以下降10%。Elasticsearch统计的索引大小是整个索引所占空间空间的大小，整个索引包括很多文件，比如tim词典，tip词典索引，pos位置信息，fdt存储字段信息（_source实际存储的文件），等等。Elasticsearch中"codec": “best_compression” （也就是DEFLATE和LZ4压缩算法），是对fdt这个文件进行压缩。
ElasticSearch核心概念-压缩算法
Cristy_Chen的博客
07-25 1668
100w条数据，1int=4Bytes，则数据索引需约为4MB【太大了】稀疏数组，差值大，deltalist仍然很大，for压缩算法不适用。
ElasticSearch 核心概念（倒排索引的压缩算法）
m0_46690280的博客
05-20 923
ElasticSearch 核心概念搜索引擎什么是搜索引擎？搜索引擎应该具备哪些要求？面向海量数据，如何达到“搜索引擎”级别的查询效率？数据库的组成结构MySQL的索引结构MySQL索引能解决大数据检索的问题吗？ElasticSearch引擎Lucene全文检索倒排索引核心算法原理倒排表的压缩算法FOR压缩算法 搜索引擎 什么是搜索引擎？ 全文搜索引擎 自然语言处理（NLP）、爬虫、网页处理、大数据处理 如谷歌、百度、搜狗、必应等等 垂直搜索引擎 有明确搜索目的的搜索行为 各大电商网站、OA、站内搜索、视频
Spring boot中使用ElasticSearch的方法详解
08-26
Spring Boot 中使用 ElasticSearch 的方法详解 ElasticSearch 是一个基于 Lucene 的搜索引擎，提供了强大的搜索和索引功能。Spring Boot 是一款流行的 Java 框架，旨在简化应用程序的开发和部署。下面将详细介绍...
详解spring中使用Elasticsearch的代码实现
08-30
Spring 中使用 Elasticsearch 的代码实现详解 Elasticsearch 是一个基于 Lucene 的搜索服务器，常用于全文搜索引擎。下面是 Spring 中使用 Elasticsearch 的代码实现详解。 Elasticsearch 基础知识 1. ES 和 Solr...
es中文分词器压缩配置
01-15
通过执行如下命令：docker volume inspect es-plugins 对应将ik解压，导入到_data下，重新执行docker restart es即可！
elasticsearch介绍与使用.pdf
08-14
Elasticsearch 使用的就是这种方法，它建立的索引使得搜索能快速定位到所需信息。 2. Elasticsearch 背景与发展 随着互联网的快速发展，网站数量激增，传统的搜索方式无法满足需求，因此出现了搜索引擎，如Elastic...
elasticsearch-sql：使用antlr4将sql解析为elasticsearch dsl
01-30
弹性搜索 建造状态 6.0.0 6.0.1 6.1.0 6.1.1 6.1.2 6.1.3 6.1.4 6.2.0 6.2.1 6.2.2 6.2.3 6.2.4 6.3.0 6.3.1 6.3.2...用antlr4重写elasticsearch ，支持 变更日志 Maven < groupId>io.github.iamazy.elasticsearch.ds
elasticsearch磁盘使用量优化
microGP的专栏
06-04 3842
优化磁盘使用量与建立索引时的映射参数和索引元数据字段密切相 关，在介绍具体的优化措施之前，我们先介绍这两方面的基础知识。 元数据字段 _source：原始的JSON文档数据。 _all：索引所有其他字段值的一种通用字段，这个字段中包含了所有其他字段的值。 允许在搜索的时候不指定特定的字段名，意味着“从全部字段中搜索”，例如： http://localhost:9200/website/_search?q=keyword _all字段是一个全文字段，有自己的分析器。从ES 6.0开始该字段被禁用
Lz4的编译和使用
yuxikuo_1的专栏
03-18 7647
Lz4：Git Source Lz4 Release：Git Release Lz4源码编译： 找到lz4\visual，可以选择VS2017和VS2010，本人使用的是VS2017 编译：会报一些.h找不到的错误，修改属性，VC++目录添加包含目录C:\Program Files (x86)\Windows Kits\10\Include\10.0.17134.0\ucrt和库目录C:\...
Elasticsearch 响应数据压缩功能详解
neweastsun的专栏
03-22 4268
压缩非常奇妙，可以将数据压缩比原始大小更小。我们知道WinRaR，7Zip等压缩工具。Elasticsearch也提供压缩数据功能，可实现对在客户端和服务端节点之间传输数据的压缩。压缩对于处理大数据传输时可减少网络延迟，本文主要内容包括：启用HTTP/TCP压缩，处理Elasticsearch不同版本的压缩的响应信息。 启用HTTP/TCP压缩 ES使得修改HTTP压缩非常容易，仅仅在 elasticsearch.yml文件中提供下面属性即可： http.compression: true http.com
ES索引写入性能优化
zhutianrong520的博客
12-21 937
最近一直想总结一篇es的优化文章，看了几篇博客，总结一下，方便以后遇上es线上优化问题有参考之处： 1、用bulk批量写入 es批量写入时，应该使用es的bulk写入，bulk写入还是应该考虑es的node数，shard分片数。业务中尽量将写入es的数据聚合起来分批写入。 bulk批量写入的性能比你一条一条写入大量的document的性能要好很多。但是如果要知道一个bulk请求最佳的大小，需要对单...
ElasticSearch学习篇8_Lucene数据落盘之数据压缩编码（vint、zigzag、writeTLong等）
xiaosi的博客
12-17 4420
Lucene全文检索主要分为索引、搜索两个过程，对于索引过程就是将文档磁盘存储然后按照指定格式构建索引文件，其中涉及数据存储一些压缩、数据结构设计还是很巧妙的，下面主要记录学习过程中的StoredField、DocValue以及磁盘BKD Tree的一些相关知识。Lucene 原理与代码分析完整版.pdf美团外卖搜索基于 Elasticsearch 的优化实践。
在Spring cloud alibaba中使用Elasticsearch的KNN算法进行查询
04-26
在Spring Cloud Alibaba中使用Elasticsearch的KNN算法进行查询，需要进行以下步骤： 1. 首先需要在pom.xml文件中添加elasticsearch-rest-high-level-client和elasticsearch-repository-spring-data依赖。 ``` <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-elasticsearch</artifactId> </dependency> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> </dependency> <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-elasticsearch</artifactId> <version>4.0.3</version> </dependency> ``` 2. 创建一个POJO类，用于映射Elasticsearch中的文档数据。 ``` @Data @Document(indexName = "knn_index", type = "knn_type") public class KnnEntity { @Id private String id; private String name; private float[] vector; } ``` 3. 创建一个Repository接口，继承自ElasticsearchRepository，用于对Elasticsearch进行操作。 ``` public interface KnnRepository extends ElasticsearchRepository<KnnEntity, String> { Page<KnnEntity> findByName(String name, Pageable pageable); Page<KnnEntity> findByVector(float[] vector, Pageable pageable); //查询距离指定向量最近的k个文档 @Query("{\"knn\":{\"vector\":{\"vector\":\"?0\",\"field\":\"vector\"},\"k\":?1}}") List<KnnEntity> findNearest(float[] vector, int k); } ``` 4. 在Spring Boot配置文件中，设置KNN算法相关的配置。 ``` spring: elasticsearch: rest: uris: http://localhost:9200 connection-timeout: 1000ms socket-timeout: 30000ms max-conn-per-route: 10 max-conn-total: 30 username: elastic password: changeme repositories: enabled: true # KNN plugin settings knn: enabled: true space-type: l2 ``` 5. 在代码中使用KNN算法进行查询。 ``` @Autowired private KnnRepository knnRepository; //根据名称查询 Page<KnnEntity> page = knnRepository.findByName("test", PageRequest.of(0, 10)); //查询距离指定向量最近的k个文档 float[] vector = {1.0f, 2.0f, 3.0f}; List<KnnEntity> list = knnRepository.findNearest(vector, 5); ``` 以上就是在Spring Cloud Alibaba中使用Elasticsearch的KNN算法进行查询的步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值