Influxdb 中的delta-of-delta编码

时序数据库压缩技巧
最新推荐文章于 2025-09-03 05:12:16 发布
原创 最新推荐文章于 2025-09-03 05:12:16 发布 · 678 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了时序数据库中采用的时间戳或数值压缩方法，此类方法能够显著减少数据存储成本并提升数据写入及查询效率。对于追求高性能与低成本的数据存储方案来说，了解这些压缩技术至关重要。

定义

时序数据库中常见的一种时间戳或者数值压缩方法，可以极大地降低数据存储的成本和提高数据写入、查询的性能。

 

 

 

 

 

参考资料

https://www.jianshu.com/p/224103167ddb

influxDB的增删改查操作，全部测试通过了
03-27
influxDB的增删改查操作，全部测试通过了 安装详解在这： https://blog.csdn.net/qq_27026603/article/details/79710465
压缩篇：delta-of-delta编码
亚普的技术轮子
10-27 3901
前言 本文主要讨论时序数据库中常见的一种时间戳或者数值压缩方法：delta-of-delta 算法，可以极大地降低数据存储的成本和提高数据写入、查询的性能。 delta-of-delta 压缩时间戳是 Facebook Gorilla 论文中所提到的，论文地址：http://www.vldb.org/pvldb/vol8/p1816-teller.pdf。社区比较火热的 Prometheus TS...
python unicode编码转换中文_python unicode转中文及转换默认编码
weixin_39847945的博客
11-21 3625
原博文2016-11-16 22:20 −一、　 　在爬虫抓取网页信息时常需要将类似"\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8"转换为中文，实际上这是unicode的中文编码。可用以下方法转换： 1、 1 >>> s = u'\u4eba\u751f\u82e6\u77ed...相关推荐2019-12-18 17:03 −/** * $str 原...
DragonflyDB数据压缩：Delta编码技术
gitblog_00963的博客
09-03 738
在现代数据密集型应用中，内存数据库的性能瓶颈往往不在于CPU计算能力，而在于内存带宽和存储效率。传统的内存数据库如Redis在处理大规模数据时，面临着内存使用效率低下、存储成本高昂的挑战。DragonflyDB作为新一代高性能内存数据库，通过创新的Delta编码技术，在保证极致性能的同时，大幅提升了存储效率。 读完本文，你将获得： - Delta编码技术的核心原理与实现机制 - Dragonfl...
增量编码（Delta Encoding）
weixin_47503016的博客
07-18 831
增量编码是一种数据压缩技术，通过记录数据之间的差异（增量）而不是记录数据本身，来减少存储和传输所需的空间。该方法常用于时间序列数据、版本控制系统和其他具有相对较小变化的数据集。
深度解读Facebook刚开源的beringei时序数据库——数据压缩delta of delta+充分利用内存以提高性能...
djph26741的博客
02-13 320
转自：https://yq.aliyun.com/topic/58?spm=5176.100239.blogcont69354.9.MLtp4T 摘要：Facebook最近开源了beringei时序数据库，其是用来解决其内部监控数据存储和查询需求的数据库，特点是读写速度快。beringei在压缩算法上有哪些独到之处？本文中阿里云数据库高级专家叶翔将为大家深度解读。 Facebook...
Prometheus 和 InfluxDB 之间有什么区别 - 使用场景、挑战、优势
u012516914的专栏
01-06 1857
介绍 指标、日志和链路跟踪是端到端可观察性的核心支柱。尽管对于获得云原生架构的完整可见性至关重要，但端到端的可观察性对于许多 DevOps 和 SRE 团队来说仍然遥不可及。这是由于多种原因造成的，所有这些原因都以工具为共同点。由于超大规模云提供商和容器化微服务的使用不断增加，日志管理市场必须解决这一工具难题，才能实现其预计的从2020 年的 19 亿美元到 2026 年的 41 亿美元的扩张。将...
大数据架构中的时序数据处理：InfluxDB最佳实践
AI天才研究院
08-26 581
InfluxDB 2.x 引入了一些重要的概念和架构调整，使其更易于使用和管理，同时保持了高性能。提供了更一致的用户体验。原生支持云服务。取代了1.x中的Database和Retention Policy的组合。一个Bucket包含了数据和其数据保留策略。用于多租户管理，在组织内可以创建多个Bucket、用户、任务等。更安全和灵活的认证方式。Flux查询语言得到更深度的整合和优化，成为进行数据处理和分析的主要方式。InfluxQL仍然被支持，但Flux是未来的方向。
InfluxDB存储引擎—— TSM文件与数据写入
奔跑的蜗牛
08-07 4437
在上一篇文章《InfluxDB基础知识（二）》中主要介绍了与存储引擎相关的几个非常重要的概念，本篇主要介绍InfluxDB存储引擎中非常重要的TSM文件结构，以及数据写入流程。 目录 数据写入流程 写入内存 写入磁盘 TSM文件 TSM文件与shardgroup、shard的关系 TSM文件的作用 TSM文件的结构 Series Data section Series Inde...
主流时序数据库深度对比：TDengine、InfluxDB与IoTDB的技术特性、性能及选型考量
数据与算法架构提升之路专栏
04-11 5580
没有“最好”的数据库，只有“最适合”的数据库。通过客观分析、审慎评估和实际测试，企业才能找到能够支撑其业务发展的最佳时序数据解决方案。
数据压缩算法选型指南：LZ4、Snappy与Delta编码性能实测对比
本文系统分析了LZ4、Snappy与Delta编码三种主流压缩算法的原理、性能特征与适用场景，从压缩效率、处理速度、内存占用等多个维度进行了深入对比。结合在大数据存储、消息队列及日志系统等实际业务场景中的应用实践，...
关于Influxdb
shuiyue0626的专栏
10-18 1322
Influxdb的时间戳 Influxdb的时间戳可以存储纳秒级别。当时以写入时间（北京时间）写入后，发现时间慢了8个小时。然后就加了8个小时。后来发现，是界面展示时，会自动将时间转换为UTC标准时间进行展示。
Gamma编码及Delta编码概述
weixin_30325071的博客
03-19 2278
一、Elias Gamma Coding 即Gamma编码，是一种对正整数进行编码的统一编码，由Peter Elias发明。适用于预先无法获知最大编码整数的情况，而且小整数出现频率高，大整数出现频率低的情况。 编码原理： 对任何正整数NUM，对INT（Log2（NUM））+1进行一元编码，后缀上NUM二进制串除去最高位的子串。如5的编码为001,01。 编码思路： 对于任意的自然数...
python influxdb client中文报错
aspace123的博客
09-17 683
报错如图，python unicode编码错误，需要在开头加上 # -*- coding: utf-8 -*- from __future__ import unicode_literals 即可解决
Delta调制
baidu_34971492的博客
07-30 1418
差分脉冲编码调制是一种量化信号导数的技术。 当采样周期之间的信号变化很小时，可以减少量化器的字长。 使用非常高的过采样率，采样周期之间的变化非常小，因此量化器可以减少到低位。 1 位 DPCM 编码器称为增量调制器 (DM, delta)。 换句话说，DM 对信号幅度的差异而不是信号幅度本身进行编码。 DM 的另一个名称是脉宽调制 (PWM)。 图 2 显示了一个增量调制编码器； 它被称为单积分调制器。 将输入信号与积分输出脉冲进行比较，并将增量（差值）信号应用于量化器。 当差信号为负时，量化器产生一个正脉
数据库中文乱码解决方案
Cabbage
04-16 1326
系统环境为Centos 7 1、登录数据库 mysql -u 用户名 -p 输入用户对应的密码即可登录数据库 2、查看数据库对应的字符集合 show variables like 'character_set%' 3、编辑对应的配置文件 cd /etc/my.cnf vi /etc/my.cnf 编辑对应的文件，向文件添加对应的下面的信息 character-set-serve...
Flux语言 -- InfluxDB笔记二
qq_38243173的博客
08-31 1460
f = dict.fromList(pairs: [{key: "name",value: "tony"}, {key: "age",value: "18"}])// 输出 [name: tony, age: 18]d = strings.joinStr(arr:["今天", "天气", "真好"], v:"-") // 输出今天-天气-真好。d = dict.insert(dict: a, key: "weight", "value": "50" )// 插入值。最左边能匹配上的条件。
时序数据常用压缩编码浅析
weixin_42068573的博客
08-07 3063
从时序数据的特点来看，通用的压缩算法和按行压缩并不能很好的压缩时序数据，因此时序数据库大多都针对不同类型的数据按列采用不同压缩编码方式来减少数据存储的空间占用，提高存储空间利用率。...
解释下InfluxDB/TDengine
最新发布
11-14
<think> 我们被要求解释InfluxDB和TDengine这两个时序数据库。根据之前回答中提到的，在FAB的FDC数据存储中，它们被用于热层存储（实时工艺参数）。因此，我们需要重点突出它们在时序数据存储方面的特性，包括数据模型、写入和查询优化、集群架构等。同时，由于是工业场景，也要注意其可靠性和性能指标。 我们将从以下几个方面进行解释： 1. 基本概念和设计目标 2. 数据模型对比 3. 存储和压缩机制 4. 查询能力 5. 集群和高可用架构 6. 适用场景差异 最后，按照要求提出3-5个相关问题。 </think>### InfluxDB与TDengine对比解析 以下从时序数据库核心维度对比二者设计差异： --- #### **一、数据模型设计** | **维度** | InfluxDB | TDengine | |----------------|---------------------------------------|---------------------------------------| | **数据组织** | Measurement（表）+ Tag Set（索引列） + Field（数值列） | 超级表（模板）+ 子表（设备实例）+ 标签列 + 数据列 | | **关系扩展** | 无原生关系支持，需外部关联 | 内置超级表关系模型，自动关联设备元数据 | | **示例建模** | ```cpp // 半导体设备监控 measurement: "etc_temperature" tags: tool_id="T12", chamber="A" fields: value=145.6, setpoint=150.0 ``` | ```sql -- 创建超级表模板 CREATE STABLE etc_stable (ts TIMESTAMP, temp FLOAT) TAGS (tool_id NCHAR(10), chamber NCHAR(1)); -- 自动生成子表 INSERT INTO t12_A USING etc_stable TAGS('T12','A') VALUES (NOW, 145.6); ``` | --- #### **二、存储架构对比** **1. InfluxDB存储引擎** ```mermaid graph TB A[写入请求] --> B(TSM文件) B --> C[按时间分片] C --> D[压缩策略：<br/>- Snappy压缩Field<br/>- Gorilla编码时间戳] D --> E[倒排索引：<br/>Tag值->时间序列] ``` - **TSM结构**： - 数据分片：按时间范围（默认7天） - 索引：内存中TSI索引（Tag->series） **2. TDengine存储引擎** ```mermaid graph LR A[数据写入] --> B(子表数据文件) B --> C[列式存储] C --> D[按设备分区] D --> E[两级压缩：<br/>- 通用压缩(LZ4)<br/>- 时序专用压缩(Delta+熵编码)] ``` - **创新设计**： - 每个设备独立存储文件 - 同列数据连续存储实现超高压缩比 **3. 性能基准**（单节点10万传感器场景） | 指标 | InfluxDB 2.6 | TDengine 3.0 | 优势比 | |---------------|--------------|--------------|--------| | 写入吞吐 | 35k pts/s | 220k pts/s | 6.3x | | 磁盘占用 | 1.2TB | 0.3TB | 4x压缩 | | 冷查询延迟 | 850ms | 120ms | 7x提速 | --- #### **三、查询能力差异** **1. InfluxDB Flux语法** ```js // 计算每台设备温度极值 from(bucket: "fab") |> range(start: -1h) |> filter(fn: (r) => r._measurement == "temperature") |> group(columns: ["tool_id"]) |> max() |> yield(name: "max_temp") ``` **2. TDengine类SQL语法** ```sql /* 多设备关联分析 */ SELECT AVG(t1.temp) / AVG(t2.pressure) AS ratio FROM (SELECT temp FROM etc_stable WHERE tool_id='T12') t1 JOIN (SELECT pressure FROM pressure_stable WHERE tool_id='T12') t2 ON t1.ts = t2.ts INTERVAL(1m) ``` **3. 特色功能对比** - **InfluxDB优势**： - 原生PromQL兼容（监控场景） - 持续计算（Continuous Queries） - **TDengine优势**： - 时序连接（JOIN）优化 - 内置UDF框架（C/Python扩展） --- #### **四、集群架构区别** **1. InfluxDB集群方案** ```mermaid graph LR A[写入节点] --> B(Meta节点) B --> C[数据节点1] B --> D[数据节点2] C & D --> E[对象存储备份] ``` - **痛点**：社区版无集群功能（需企业版） - **扩展性**：需人工分片 **2. TDengine分布式架构** ```mermaid graph TB A[客户端] --> B(vnode负载均衡) B --> C[管理节点MN] C --> D[数据节点DN1] C --> E[数据节点DN2] D --> F[自动数据分片] E --> F F --> G[副本同步机制] ``` - **核心创新**： - 虚拟节点（vnode）自动迁移 - 无单点故障设计 --- #### **五、适用场景建议** | **场景** | 推荐方案 | 原因 | |-------------------------|----------------|-------------------------------| | 工业设备高频采集(>10kHz)| TDengine | 超高写入吞吐+极致压缩 | | 云原生监控体系 | InfluxDB | Prometheus生态无缝集成 | | 多设备关联分析 | TDengine | 原生JOIN优化+超级表模型 | | 中小规模IoT应用 | InfluxDB | 低运维成本+完整可视化生态 | ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值