TDengine 压缩性能实际测试（对比 DolphinDB ）

最新推荐文章于 2024-06-09 17:22:13 发布
最新推荐文章于 2024-06-09 17:22:13 发布
阅读量1.9k 收藏 2
点赞数
文章标签： tdengine 大数据 时序数据库 开源 涛思数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/friendfeng/article/details/127717721
版权

公司项目需要，对两个国产时序数据库 TDengine 与 DolphinDB 做了压缩比测试。

测试数据来源于 TDengine 官方的性能测试工具 Benchmark。

先上结果：DolphinDB 压缩比优于 TDengine 1.65 倍

TDengine

TDengine 是一款开源、云原生的时序数据库（Time Series Database），专为物联网、工业互联网、金融、IT 运维监控等场景设计并优化。它能对大量设备、数据采集器每天产生的高达 TB 甚至 PB 级的数据进行高效实时的处理；对业务的运行状态进行实时的监测、预警，从大数据中挖掘出商业价值。

DolphinDB

DolphinDB 是由浙江智臾科技有限公司研发的一款高性能分布式时序数据库，DB-Engines 时序库排行榜top 10。用户可在同一个系统内使用简洁高效的脚本语言快速开发大数据应用。适用于工业物联网及量化金融等领域。

测试环境：

Ubuntu20.04，内存32G，CPU i7x2.9 16核，硬盘256G SSD

TDengine社区版：3.0.1.4

DolphinDB社区版：2.00.8

部署方式：单服务器单节点

客户端：TDengine 使用命令行；DolphinDB 使用 v1.30.20.1 GUI 客户端

 整个测试都是在相同环境下进行，TDengine 在测试中开启最大程度压缩的二级压缩。两个产品部署在同一台 Linux 服务器上，用了同一组数据记录集。

数据记录集：

使用 TD

最低0.47元/天 解锁文章
iot-freshman
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
TDengine和DolphinDB哪个更好，哈哈哈哈，闲来无聊分析了一下。
wj1314250的博客
07-07 3734
TDengine是专为时序数据设计的，针对的是物联网、工业互联网、IT运维场景。这些场景是不需要特殊的查询函数的，更关心的是写入速度、查询速度。而且这些场景下，也需要一些其他数据库不具备的功能，比如插值、时间聚合等等 如果要问TDengine和DolphinDB最大的特色，存储引擎可能是TDengine最大的特色，性能也非常好；DolphinDB的最大特色毫无疑问是它的计算引擎。可以毫不夸张的说，DolphinDB的计算引擎是所有类别的国内外数据库中最有特色的之一。这跟DolphinDB从金融起步有关（金融
压缩比达到 7:1，TDengine 助力校园智慧用电系统降本增效
涛思数据
11-23 5519
TDengine满足了3万条/秒的写入速度，并且压缩率达到了惊人的1/7左右。对于在校园网环境服务的整个构架中运作的应用来说，TDengine不停机的数据节点扩展也保证了稳定的服务。
ClickHouse数据库对比、适用场景与入门指南
最新发布
全世界的博客
06-09 1701
ClickHouse 是一个由俄罗斯搜索引擎公司 Yandex 开发的开源列式数据库管理系统，专为在线分析处理（OLAP）场景设计。它以其卓越的性能、高效的压缩和实时数据处理能力而闻名。ClickHouse 的入门概述旨在帮助初学者理解其核心概念和设计理念，为后续的学习和使用打下基础。ClickHouse 是一个列式存储的数据库管理系统，这意味着数据是按列存储而非按行存储。这种存储方式使得在执行聚合查询时能够提供更高的性能。ClickHouse 支持标准 SQL 查询，并且提供了许多针对列式存储的优化特性。
11 亿条数据压缩到 12GB，TDengine 在陕煤矿山项目的落地实践
涛思数据
02-09 3771
从写入性能到查询性能均大幅满足现场实际需求，整体压缩率可以达到3/100。
版本发布：TDengine 3.0.3.0 为数据压缩、事件窗口等七大功能加“Buff”
涛思数据
03-16 360
在 2023 年的第一季度， TDengine 第一个重要改进版本 3.0.3.0 发布
压缩性能提升10-20倍，TDengine助力零跑科技实现性能和成本最优化
涛思数据
11-05 279
作者：何建军 王国政｜零跑科技 关于零跑 浙江零跑科技股份有限公司(leapmotor)作为一家科技型企业，是国内极少数拥有智能电动汽车完整自主研发能力并掌握核心技术的新能源汽车厂家，由浙江大华技术股份有限公司及其主要创始人共同投资成立，始终坚持核心技术的全域自研，为用户的出行和生活创造最大价值，致力成为值得尊敬的世界级智能电动车企品牌。 一直以来，在数据存储上我们的选择都是MongoDB和HBase，但是随着业务的加速扩张，写入速度太慢、支撑成本过高等问题也逐渐显现，具体来说，主要有以下
行情数据库性能基准测试(MongoDb/TdEngine/DolphinDb)
量化窝
07-20 1297
期货量化行情数据库选择，mongodb，tdengine，dolphindb对比测试
TDengine与Cassandra对比测试
fangfangpanpan的博客
08-14 1686
TDengine与Cassandra对比测试 为帮助用户了解TDengine的指标，特将TDengine与Cassandra做了读写性能对比测试。 测试环境 对比测试的测试程序和数据库服务在同一台4核8GB的Dell台式机上部署，台式机型号为OptiPlex-3050，详细配置如下 OS: Ubuntu 16.04 x64 CPU: Intel(R) Core(TM) i3-7100 CPU @ ...
TDengine 3.0 性能如何？教你一键复现 IoT 场景 TSBS 测试结果
涛思数据
07-12 698
在本期测试报告中，我们使用了 TSBS 的 IoT 场景作为基础数据集，在TSBS 框架下模拟虚拟货运公司车队中一组卡车的时序数据，针对每个卡车的诊断数据（diagnostics）记录包含 3 个测量值和 1 个（纳秒分辨率）时间戳、8 个标签值；卡车的指标信息（readings）记录包含 7 个测量值和 1 个（纳秒分辨率）时间戳，8 个标签值。数据模式（schema）见下图，每 10 秒对生成的数据进行一条记录。由于 IoT 场景引入了环境因素，所以每个卡车存在无序和缺失的时间序列数据。样例数据。
dgiot百亿级物流标签轨迹时序数据压测
lsxredrain_hxcy的专栏
07-27 563
压测背景**：** LPWAN是当前物联网行业中最重要的技术之一，以年复合增长率90%的惊人速度增长。NB-IOT、LoRa、ZETA以及Sigfox是当前市场上主流的几种LPWAN通信技术。 ZETA LPWAN协议以超窄带、低功耗双向通信和多跳组网的特点，彻底改善了传统的LPWAN协议不足之处，大大增加了LPWAN技术在物联网应用的空间。 ZETag云标签是纵行科技基于ZETA技术开发的传感柔性标签，具有公里级超广覆盖，低功耗特性等优势，与同类技术相比，成本可降低至1/3-1/10，并能支持大.
TDengine TSZ 压缩算法优化背后的故事，要从一篇学术论文说起
涛思数据
11-20 228
我们对 TDengine Contributor 钟宇进行了一次深入采访，他将从为何选择 TDengine 作为研究对象之一、TSZ 压缩算法的具体优化工作以及参与开源的感受等诸多方面展开分享。
tdengine和mysql区别_TDEngine Game Framework
weixin_35618539的博客
02-22 942
软件简介tdengine是一个轻量级的为在线游戏服务器打造的框架。他是由Rust为底层，lua为逻辑层的一个框架。框架依赖于数据库Redis及Mysql。Build tdengine非常简单，动手编译一个试着玩一下是个很好的开始。 您需要下载Rust选择相应的版本进行安装。 用cargobuild就可以完成编译，Windows环境如果缺少gcc的话，请安装msys2并设置环境变量。虽然 tdeng...
influxDB TDengine DolphinDB kdb+
ChengChengCheng的博客
10-15 1068
时序数据库，工业物联网数据处理平台
聚焦 TimescaleDB VS TDengine 性能对比报告，五大场景全面分析写入与查询
涛思数据
05-17 925
从上述 TSBS 测试报告中我们可以得出结论，不管是在写入性能、查询性能还是存储性能，TDengine 比 TimescaleDB 都略胜一筹，且不论是服务器的 CPU 还是 IO 抑或是客户端的开销统计，TDengine 均远优于 TimescaleDB。尤其本次性能测试还是基于 Timescale 打造的基准性能测试平台 TSBS 进行的，测试结果的公平公正性可见一斑。
时序数据库太爽了TDengine3.0（tdengine和druid等性能对比)
前方的路在刚开始
08-31 1837
另外建表语句,第一个必须为timestamp类型，他是以这个进行排序的，默认全部都帮你排序好了，用起来很舒服。满足外卖或者行车的相关地图。在地图上，我们需要获取电动车的路径，所以要知道他行走的时间。因为目前在做gps相关的，电动车里面有个终端，会不停的上报数据到后端，包括经纬度。于是选择了TDengine（和sql差距不大，唯一差距大的就是字段不一样）注意的坑就是，varchar(20)类型对应他的nchar(20)nchar(20)会直接占用20个空间。每天1w辆车，每5秒上报一次，数据量都过亿。....
TDengine与InfluxDB对比测试
TDengine专为物联网而生的大数据平台
07-20 7607
TDengine的性能远超InfluxDB，写入性能约为5倍，读取性能约为35倍，聚合函数性能约为140倍，按标签分组查询性能约为250倍，按时间分组查询性能约为12倍。
InfluxDB、TDengine、IoTDB 对比
07-15
InfluxDB、TDengine和IoTDB都是流行的时间序列数据库，用于处理和存储大规模时间序列数据。它们在设计理念、功能特性和适用场景上有一些区别。下面是它们之间的对比： 1. InfluxDB: - 设计理念：InfluxDB是一个开源的、分布式的、高性能的时间序列数据库，专门为快速存储和检索时间序列数据而设计。 - 功能特性：支持高并发写入和查询操作，提供SQL-like查询语言（InfluxQL）和基于HTTP的API，支持数据的聚合、降采样和连续查询等功能。 - 适用场景：适用于需要实时监控和分析大量时间序列数据的场景，如监控系统、物联网、传感器数据处理等。 2. TDengine: - 设计理念：TDengine是一个开源的、高性能的时间序列数据库，旨在提供高效的数据存储和实时数据分析能力。 - 功能特性：支持高并发写入和查询操作，提供类似于SQL的查询语言（TAOS SQL）和基于TCP/UDP的API，支持数据的压缩、分区和副本等功能。 - 适用场景：适用于需要高性能和低延迟的实时数据分析场景，如物联网、金融行业的交易数据分析、工业监控等。 3. IoTDB: - 设计理念：IoTDB是一个开源的、分布式的、可扩展的时间序列数据库，专门用于存储和处理物联网设备生成的海量时间序列数据。 - 功能特性：支持高并发写入和查询操作，提供类似于SQL的查询语言（IoTDB SQL）和基于JDBC的API，支持数据的压缩、索引和多维查询等功能。 - 适用场景：适用于大规模物联网设备数据的存储和分析场景，如智能城市、工业自动化、智能交通等。 总体而言，这三个时间序列数据库都具有高性能、高并发的特点，适用于不同规模和类型的时间序列数据处理场景。选择哪个数据库取决于数据规模、性能需求、功能需求以及你的团队对相关技术的熟悉程度。在进行选择时，建议进行详细的评估和性能测试，以确定最适合你的具体需求的数据库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值