时序数据库的关键技术点总结

最新推荐文章于 2024-04-29 23:47:34 发布
最新推荐文章于 2024-04-29 23:47:34 发布
阅读量398 收藏
点赞数
文章标签： 时序数据库 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014087707/article/details/132847384
版权

总结时序数据库的关键技术点

内存

  • SQL解析
  • LSM Tree（WAL）
  • skiplist
  • 内存合并，有序落盘
  • LRU 时序文件索引缓存

存储层

  • 时间分区+设备分区
    • 索引文件
      • 时间戳范围索引
      • 布隆过滤器索引
      • brin 索引
      • btree 索引
      • 多层索引
    • 数据文件（tskv）
      • 设备+工况+时间戳（key）：value
      • 前缀压缩算法
      • 顺序存储
      • Compaction，合并多个tskey文件
  • 分布式负载均衡
    • raft
    • 按照设备和时间两个维度负载均衡
  • 元数据管理
Muroidea
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于时标量测的电网实时预警关键技术方案
01-12
时序数据库使记录带时标量测数据成为可能，因此提出了基于时标量测的电网实时预警方案。该方案包含４个核心技术点，即系统数据的分流处理、脚本驱动的告警规则定义与执行、基于运行历史数据挖掘的运行状态预测告警、告警结果精细化的展示以及多样化的辅助决策分析，实现了电网模型数据与时标量测的实时数据、历史数据融合应用，解决了电网量测跳变难以捕捉、告警准则单一、电网运行异常时缺乏预警手段等问题。所提方案在实际工程中的应用结果表明，其提高了预警系统的准确性和有效性。
unitdb:用于物联网，实时互联网连接设备和AI分析的快速专业化时序数据库
05-15
unitdb Unitdb正在为微服务，物联网和实时互联网连接的设备提供快速专业的时间序列数据库。 由于Unitdb满足了低​​延迟和二进制消息传递的要求，因此它是用于诸如物联网和Internet连接设备之类的应用程序的理想时间序列数据库。 Unitdb服务器将uTP（单元传输协议）用于客户端服务器消息传递。 阅读。 Don't forget to :star: this repo if you like Unitdb! 关于unitdb 关键特征 100％参加 可以存储大于内存的数据集 优化用于快速查找和写入 支持每小时写入数十亿条记录 支持使用不可变标志打开数据库 支持数据库加密 支持消息条目的生存时间 支持写通配符主题 数据以高精度和高性能的块同步技术安全地写入磁盘 快速开始 要从源代码构建Unitdb，请使用go get命令。 去获取github.com/unit-io/unitdb
2020中国数据库技术大会PPT合集（77份）.zip
06-01
2020中国数据库技术大会PPT合集（77份）。 在线分析进入Fast Data时代的关键技术解读 云原生时代的数据库管理实践 云数据库建设实践 元数据治理在企业中的实践 优秀产学研珞珈图腾数据库实验室 银行数据库智能运维实践 银行核心应用MySQL治理实践 一种基于流计算的分布式事务解决方案 物流大数据架构应用与实践 万亿数据库核心存储引擎实现与应用 推荐平台存储与计算的融合 图数据库行业发展及场景应用 图数据库实践 数字时代构建数据库运作的效能与效益管控方法体系 数字化风控决策实践 数据平台的最新发展趋势 数据库自治的探索与突破 数据库自动化运维之路 数据库资源调度平台架构实践 数据库一体机inData最佳实践 数据库服务综合治理之路 数据库安全与审计 数据库GaussDB，使能企业数字化升级的实践与探索 数据库2025 数据仓库平台和服务建设实践 时序数据库InfluxDB在微服务建设中的实践 深植于场景需求混布数据库：Hubble 浅谈数据库服务和架构演讲 平安数据库开发质量管理实践 面向生产力的数据架构演进 每秒万级订单的数据库优化实践 流程IT数据库上云实践 等等文档
【技术选型】时序数据库选型
DreamSun的博客
06-06 1314
时序数据治理是数据治理领域核心、打通IT与OT域数据链路，是工业物联网基石、大数据价值创造的关键、企业管理提升的发动机、是数字化转型的重要支撑。工业企业在生产经营过程中，会运用物联网技术，采集大量的数据并进行实时处理，这些数据都是时序的，而且具有显著的特点，比如带有时间戳、结构化、没有更新、数据源唯一等。时序数据处理应用于智慧城市、物联网、车联网、工业互联网领域的过程数据采集、过程控制，并与过程管理建立一个数据链路，属于工业数据治理的新兴领域。公共安全：上网记录、通话记录、个体追踪、区间筛选；
时序数据库
xinzhongtianxia的博客
07-12 6524
之前一直对时序数据库十分好奇，觉得一定是十分高大上的东西，后来机缘巧合之下，有幸参与到一款时序数据库的开发工作中，虽然不是最核心的部分，但是一番折腾过后，对时序数据库有了一些了解和心得，在这里分享出来，希望能对大家有所帮助。顾名思义，时序数据库就是处理时序数据的数据库——TSDB（Time Series Data Base）。...
时序数据库的现状及核心技术
云布道师
07-22 2860
凌云时刻编者按：本篇整理自峰会《时序数据库论坛》演讲视频的文字版本。作者孙金城，花名金竹，在阿里工作近10年，以ApacheFlink为切入点，在流计算领域贡献了5年，目前以阿里巴巴物联网...
物联网关键技术：时序数据库
azhuyangjun的博客
12-21 3758
物联网系统中，需要实时处理的数据可通过队列送入流处理引擎；不需要实时处理的数据，用于离线分析或数据挖掘，需要先存储起来。物联网系统的数据存储的方式很多，要根据实际场景来选择。 物理网系统各种可能的存储选择 物联网的数据主要是通过传感器采集， 经过解析和清洗， 以结构化的格式进行存储。在数据量不大的情况下， 用mysql等关系数据库就可以满足我们的需求。如果经常有很多报表统计的需要，也可以使用clickhouse、greenplum等nosql数据库。 物联网系统的数据存在特殊性，不同于传统互联网应
可扩展的时间序列数据库Heroic.zip
07-19
Heroic是Spotify公司内部使用的时间序列数据库。在大规模搜集和呈现近实时数据时，Spotify公司曾面临着巨大挑战。Heroic就是该公司用来应对这些挑战的工具。其内部包含了两个核心技术——Cassandra和Elasticsearch。...
DTC 2024年数据技术嘉年华（公开）PPT汇总（53份）.zip
04-25
时序数据库 Apache IoTDB 如何赋能工业物联网数据管理 智创当下 KaiwuDB 从多模到 AI 的探索实践 构建国产数据库数字化运维生态 构建面向未来的金融核心系统 现代数据库内核的理论与实践 移动云海山数据库技术内幕 ...
从IoTDB的发展回顾时序数据库演进史
qin_DB的博客
04-11 1711
面向工业物联网时代，以 IoTDB 为代表的时序数据库加速发展。时序数据的主要产生来源之一是设备与传感器，具有监测点多、采样频率高、存储数据量大等多类不同于其他数据类型的特性，从而导致数据库在实现高通量写入、存储成本、实时查询等多个维度存在管理难点。针对这些特性与难点，专门针对时序数据管理构建的时序数据库也在逐步成熟。以 IoTDB 为代表的国产时序数据库面向工业物联网时代，时序数据的主要应用场景...
【课堂练习】
最新发布
JacksonLeo的博客
04-29 293
虽然现代JVM的垃圾回收机制已经非常高效，但是在性能敏感的场合，仍然需要注意对象的创建频率。例如，在SysLogininforMapper中的deleteLogininforByIds方法，如果处理大量ID时，应考虑使用批处理技术，而不是循环单条处理。例如，在SysMenuMapper中的查询方法，如果涉及到复杂的查询条件或者大量数据的查询，应确保SQL语句的优化和索引的使用。异常处理：代码中应该有更明确的异常处理逻辑，比如使用try-catch块捕获可能的异常，并进行适当的处理，如记录日志、回滚事务等。
探秘MySQL主从复制的多种实现方式
todoitbo的博客
04-26 1039
本文将深入探讨MySQL主从复制的多种实现方式，包括基于语句、基于行和混合模式等。无论您是初学者还是有经验的数据库管理员，都能通过本文全面了解MySQL主从复制技术的多样化选择，从而提高数据库的可用性和性能。
【ROMA解决方案和功能架构】
数据也是生产力，保持热爱，奔赴山海！
04-23 798
1、基于ROMA融合集成平台，实现企业应用、数据、API 、OT设备、云服务、合作伙伴应用之间的集成连接。2、ROMA主要包含四个组件：数据集成（Fast Data Integration，简称FDI）、服务集成（API Connect，简称APIC）、消息集成（Message Queue Service，简称MQS）、设备集成（LINK）。
mysql-connector-java和spring-boot-starter-jdbc和mybatis-spring-boot-start
xzy的博客
04-23 1028
JDBC是使用java语言操作mysql数据库的规范，java语言必须按照这个规范写才可以操作mysql数据库。
ubuntu18源码安装postgresql15.2数据库
04-27 339
由于官方的源只能安装到pg10这个版本，整了好一会没有成功就改为源码安装了。
SpringCloudAlibaba：2.1nacos
m0_63040701的博客
04-26 919
Nacos是阿里巴巴开源的服务注册中心以及配置中心Nacos=注册中心Eureka + 服务配置Config + 服务总线Bus。
SpringBoot JPA使用
gochenguowei的博客
04-25 985
是 Spring 框架提供的一个模块，用于简化与关系型数据库的交互和数据访问。它基于JPA（Java Persistence API）标准，并提供了一组易于使用的API和工具，帮助开发人员更轻松地进行数据库操作。通过Spring Data JPA，开发人员可以通过编写简洁的代码来执行常见的 CRUD 操作，同时还支持高级查询、分页、事务管理等功能。它的目标是提供一种更简单、更高效的方式来处理数据库操作，减少开发人员的工作量，并提高应用程序的可维护性和可扩展性。
superset部署与实践
m0_60125201的博客
04-29 636
本博客简要介绍了superset这个BI工具，使用两种方法来部署superset，并简单介绍了superset的使用。
postgresql时序数据库
07-27
PostgreSQL是一个功能强大的关系型数据库管理系统，它支持多种数据类型和功能，其中包括时序数据库。...总结起来，PostgreSQL可以通过TimescaleDB扩展来实现时序数据库功能，使其能够高效地存储和查询时间序列数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值