InfluxDB存储引擎—— TSM文件与数据写入

最新推荐文章于 2024-07-15 15:51:44 发布

Siven_

最新推荐文章于 2024-07-15 15:51:44 发布

阅读量4k

点赞数 2

分类专栏： database

本文链接：https://blog.csdn.net/suzy1030/article/details/81479138

版权

本文详细介绍了InfluxDB数据的写入流程，包括从写入内存到磁盘的过程，以及TSM文件的结构和作用。TSM文件是InfluxDB存储数据的核心，包含Series Data和Series Index Section，数据按列存储，利用delta-delta编码等压缩算法提高效率。

摘要由CSDN通过智能技术生成

在上一篇文章《InfluxDB基础知识（二）》中主要介绍了与存储引擎相关的几个非常重要的概念，本篇主要介绍InfluxDB存储引擎中非常重要的TSM文件结构，以及数据写入流程。

TSM文件与shardgroup、shard的关系

数据写入流程

数据写入内存时包含的信息有：measurement、timestamp、tags、fields的值。

写入内存

1. 首先根据measurement和tag的值生成seriesKey

2. 然后逐个field处理，写入内存中存储数据的数据结构：Map<seriesKey+field,List<Timestamp|Value>>

写入磁盘

当内存中的数据量达到一定限制(默认

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Siven_

关注关注

2
点赞
踩
6

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

influxdb tsm文件_influxDB集群模式实践

weixin_33518100的博客

12-08

342

奇技指南influxDB数据库以其优秀的时序数据存储和查询能力，在处理和分析类似资源监控等时序数据方面得到了广泛的应用。而influxDB自带的各种特殊函数如求平均值、标准差、随机取数据，使数据分析变得十分方便。本文作者基于360内部对产生的大量时序数据的存储为背景需求，设计了性能优异的influxDB集群，下来就跟随作者一探究竟吧。本文转载自360云计算1基础概念 TSDB与传统DB比...

influxdb的数据文件types.db

04-08

infuxdb所需要的数据文件模版，没有这个文件在influxdb启动的时候会抛出异常：run: open server: open service: Stat(): stat /usr/share/collectd/types.db: no such file or directory

2 条评论您还未登录，请先登录后发表或查看评论

InfluxDB（五）：TSM存储引擎之TSMFile

张豫湘的博客

04-07

774

所以这里也需要知道为什么InfluxDB或者HBase都不适合存储轩辕的埋点数据了，因为轩辕你的埋点数据每个point中的每个field都是具有相关性的列，就是说我查了A字段，那么我就必须要查出A字段想关联的point的B字段，但是point在时序数据库中可能分布于不同的SeriesKey，也就是可能会落到不同的TSM文件上，所以不适合，那为什么ES适合呢？时序数据的时间值以及指标值在Block内部是按照列式存储的：所有时间值存储在一起，所有指标值存储在一起，可以提高系统的压缩效率，如上图的Values。

influxdb导出与导入方式

最新发布

完颜振江

07-15

1032

InfluxDB是一个高性能的时序数据库，提供了多种数据导出和导入的方法。

android缓存系列：DiskLruCache源码分析

有心好书

09-12

2030

disklrucache源码分析 #项目介绍 LRU是一种算法，disklrucache基于LRU算法实现的磁盘缓存方案。在很多开源项目中都可以看到它的身影，比如universal imageloader等等。 #简单用法（一个demo）首先，这个框架会涉及到一个文件，叫做journal，这个文件中会存储每次读取操作的记录；对于获取一个DiskLruCache，是这样的：

InfluxDB-TSM File解析

yilan1993的专栏

12-12

663

本文主要讲解influxdb数据的组织形式，分为内存中的形式和磁盘中的形式。代码路径influxdb/tsdb/engine/，内存Cache结构在influxdb/tsdb/engine/tsm1/cache下面，内存中组织形式结构说明123456789101112131415161718192021222324252627282...

InfluxDB存储引擎—— TSI文件与数据读取

奔跑的蜗牛

08-08

6582

本篇文章暂未完成在上一篇文章《InfluxDB存储引擎—— TSM文件与数据写入》中，对数据写入流程和数据文件的结构进行了介绍，再了解了数据写入流程和TSM文件结构之后，我们知道数据在磁盘是按时间、按数据源、按列存储的，在这样的存储结构上，读取数据的流程是怎样的呢？采用了哪些数据结构或文件来提升查询的效率呢？这就是本篇文章要讲的内容。目录数据读取流程基于内存的倒排索引作用核...

时序数据库 InfluxDB

07-13

TSM 引擎允许高速摄取和数据压缩完全用 Go 编写。它编译成一个没有外部依赖性的二进制文件。简单、高性能的写入和查询 HTTP API。插件支持其他数据摄取协议，例如 Graphite、collectd 和 OpenTSDB。专为轻松查询...

InfluxDB学习记录（二）——influxdb的关键概念

weixin_45974176的博客

11-03

2279

进一步了解influxdb的专业术语和关键概念

influxdb 原理与应用

Green_Arrow

08-06

4616

一、基本概念 influxDB是一个由InfluxData开发的开源时序型数据库。它由Go写成，着力于高性能地查询与存储时序型数据。InfluxDB被广泛应用于存储系统的监控数据，IoT行业的实时数据等场景。 influxDB提供了类似SQL的查询语言，并且可以设置数据保存时间，支持基于http的数据插入和查询，逻辑上由database(数据库),measurem...

InfluxDBTSM存储引擎之数据写入

01-27

InfluxDB提供了多种接口协议供外部应用写入，比如可以使用collected采集数据上传，可以使用opentsdb作为输入，也可以使用http协议以及udp协议批量写入数据。批量数据进入到InfluxDB之后总体会经过三个步骤的处理，如下图所示：批量时序数据shard路由：InfluxDB首先会将这些数据根据shard的不同分成不同的分组，每个分组的时序数据会发送到对应的shard。每个shard相当于HBase中region的概念，是InfluxDB中处理用户读写请求的单机引擎。倒排索引引擎构建倒排索引：InfluxDB中shard由两个LSM引擎构成–倒排索引引擎和TSM引擎

关于InfluxDB的TSM存储引擎

qq_1763467007的博客

03-15

948

需要简单了解 InfluxDB 的总体的架构以及一些关键概念，有一个总的思路，知道这个数据库是为了存储什么样的数据，解决哪些问题而诞生的，便于后面理解 TSM 存储引擎的详细的结构。

InfluxDB TSM存储引擎之TSMFile

hermi0ne的博客

08-17

737

本篇文章主要介绍InfluxDB TSM存储引擎之TSMFile。为了保证时序数据写入的高效，InfluxDB采用LSM结构，数据先写入内存以及WAL，当内存容量达到一定阈值之后flush成文件，文件数超过一定阈值执行合并。这个套路与其他LSM系统（比如HBase）大同小异。不过，InfluxDB在LSM体系架构的基础上针对时序数据做了针对性的存储改进，官方称改进后的存储引擎为TSM（Time-Structured Merge Tree）结构引擎。本篇文章主要集中介绍TSM引擎中文件格式针对时序数据做了哪些

InfluxDB存储引擎——TSM引擎

qq_47159522的博客

09-21

1764

存储在一起形成的数据集，通常来说，时间序列中时间值的间隔都是比较固定的，比如每隔一秒钟采集一次的时间值间隔都是1s，这种具有固定间隔值的时间序列压缩非常高效，TSM采用了Facebook开源的Geringei系统中对时序时间的压缩算法：delta-delta编码。存储在一起形成的数据集，同一种Key对应的指标值数据类型都是相同的，由Type字段表征，相同类型的数据值可以很好的压缩，而且时序数据的特点决定了这些相邻时间序列的数据值基本都相差不大，因此也可以非常高效的压缩。临时插入内存的数据。

influxDB系列（四）TSM引擎（存储原理）

林木森的博客

05-09

1484

三、原理文件目录 # wal 目录结构 -- wal -- mydb -- autogen -- 1 -- _00001.wal -- 2 -- _00035.wal -- 2hours -- 1 -- _00001.wal # dat...

InfluxDB详解之TSM存储引擎解析（二）

xiaolei1982致力于Web开发

07-13

2282

InfluxDB详解之TSM存储引擎解析（二）上一篇文章主要介绍了 TSM 存储引擎一些相关的概念、组件以及数据存储的目录结构，文件组成结构等内容。这一篇将会尽量从 InfluxDB 源码的角度，深入讲解数据插入、查询、合并等操作的具体流程以及内部数据结构的设计。上一篇文章传送门：『InfluxDB详解之TSM存储引擎解析（一）』。主要数据结构 InfluxDB

TSM文件格式及实例解析（一）

jacicson1987的专栏

08-29

3853

目录格式概述 Header Footer Indexes DataBlocks TimeStamps Data values 实例分析数据产生数据分析小结：格式概述 TSM文件格式如下 Header Datablocks Indexes Footer 5 bytes N bytes N bytes 8 bytes ...

InfluxDB TSM引擎：高效批量写入与数据处理流程

InfluxDB的TSM存储引擎通过细致的shard路由、高效的倒排索引构建和TSM文件的持久化机制，为时序数据的高吞吐写入和查询性能提供了强大的支持。理解并掌握这些原理有助于更好地利用InfluxDB处理大规模时序数据的应用...