timescaledb和PG写入性能测试

最新推荐文章于 2024-07-23 10:40:34 发布
最新推荐文章于 2024-07-23 10:40:34 发布
阅读量5.2k 收藏 4
点赞数
分类专栏： PG学习笔记 文章标签： timescaledb postgresql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacicson1987/article/details/83064313
版权

目录

 

结论摘要

测试环境

数据构造

CASE 1 单TIME索引

单行写入

WAL文件增加

BATCH写入

资源占用

CASE 2 增加一个索引

单行写入

BATCH写入

资源占用

CASE 3 大量数据

结论摘要

小数据量（线程10万行），无论单多线程，有无batch，PG和TSDB性能相仿，PG略强。

增加一条索引，两者插入性能都有所下降

WAL增长约为插入数据的2倍，但是WAL有上限。

大数据量（2000万、1亿行），BATCHSIZE=1000，PG插入性能依旧强于TSDB。

CPU占用，TSDB占用略高，以8线程batch1000为例（TSDB:80%, PG: %60）

总体上单独PG 性能和资源消耗都优于TSDB。

下一步需要找到在何种场景下TSDB插入性能会优于PG。

测试环境

Intel(R) Core(TM) i7-4790 CPU @ 3.60GHz

32G memory

SSD harddisk.

postgresql.conf


max_connections = 256
 
shared_buffers = 3GB                    # min 128kB
 
work_mem = 16MB                         # min 64kB
maintenance_work_mem = 256MB            # min 1MB
 
wal_buffers = 4MB 
checkpoint_timeout = 10min              # range 30s-1d
max_wal_size = 2GB
 
checkpoint_completion_target = 0.9  
--------------------- 
作者：Kun_Tsai 
来源：CSDN 
原文：https://blog.csdn.net/jacicson1987/article/details/82988556?utm_source=copy 
版权声明：本文为博主原创文章，转载请附上博文链接！

数据构造

timestamp 每行递增1s

id  每行递增1

10个 integer 随机数 + 9个随机长度字符串

 

CASE 1 单TIME索引

timescaledb 不设置索引（默认time索引）

PG 设置time索引

ts1=# \d+ ckts1
                                            Table "public.ckts1"
 Column |           Type           | Collation | Nullable | Default | Storage  | Stats target | Description 
--------+--------------------------+-----------+----------+---------+----------+--------------+-------------
 time   | timestamp with time zone |           | not null |         | plain    |              | 
 id     | integer                  |           |          |         | plain    |              | 
 col2   | integer                  |           |          |         | plain    |              | 
 col3   | integer                  |           |          |         | plain    |              | 
 col4   | integer                  |           |          |         | plain    |              | 
 col5   | integer                  |           |          |         | plain    |              | 
 col6   | integer                  |           |          |         | plain    |              | 
 col7   | integer                  |           |          |         | plain    |              | 
 col8   | integer                  |           |          |         | plain    |              | 
 col9   | integer                  |           |          |         | plain    |              | 
 col10  | integer                  |           |          |         | plain    |              | 
 col11  | integer                  |           |          |         | plain    |              | 
 col12  | character varying(30)    |           |          |         | extended |              | 
 col13  | character varying(30)    |           |          |         | extended |              | 
 col14  | character varying(30)    |           |          |         | extended |              | 
 col15  | character varying(30)    |           |          |         | extended |              | 
 col16  | character varying(30)    |           |          |         | extended |              | 
 col17  | character varying(30)    |           |          |         | extended |              | 
 col18  | character varying(30)    |           |          |         | extended |              | 
 col19  | character varying(30)    |           |          |         | extended |              | 
 col20  | character varying(30)    |           |          |         | extended |              | 
Indexes:
    "ckts1_time_idx" btree ("time" DESC)
Triggers:
    ts_insert_blocker BEFORE INSERT ON ckts1 FOR EACH ROW EXECUTE PROCEDURE _timescaledb_internal.insert_blocker()

postgres=# \d+ cts1
                                            Table "public.cts1"
 Column |           Type           | Collation | Nullable | Default | Storage  | Stats target | Description 
--------+--------------------------+-----------+----------+---------+----------+--------------+-------------
 time   | timestamp with time zone |           | not null |         | plain    |              | 
 id     | integer                  |           |          |         | plain    |              | 
 col2   | integer                  |           |          |         | plain    |              | 
 col3   | integer                  |           |          |         | plain    |              | 
 col4   | integer                  |           |          |         | plain    |              | 
 col5   | integer                  |           |          |         | plain    |              | 
 col6   | integer                  |           |          |         | plain    |              | 
 col7   | integer                  |           |          |         | plain    |              | 
 col8   | integer                  |           |          |         | plain    |              | 
 col9   | integer                  |           |          |         | plain    |              | 
 col10  | integer                  |           |          |         | plain    |              | 
 col11  | integer                  |           |          |         | plain    |              | 
 col12  | character varying(30)    |           |          |         | extended |              | 
 col13  | character varying(30)    |           |          |         | extended |              | 
 col14  | character varying(30)    |           |          |         | extended |              | 
 col15  | character varying(30)    |           |          |         | extended |              | 
 col16  | character varying(30)    |           |          |         | extended |              | 
 col17  | character varying(30)    |           |          |         | extended |              | 
 col18  | character varying(30)    |           |          |         | extended |              | 
 col19  | character varying(30)    |           |          |         | extended |              | 
 col20  | character varying(30)    |           |          |         | extended |              | 
Indexes:
    "cts1_time_index" btree ("time")

 

单行写入

每线程10W行数据。每行约180bytes. 一个线程写入约18MB。

看起来两者性能相差不大，PG稍强5%~10%， 之前此场景下influxdb的测试数据也放在一起做个对比

线程平均速率（行/s）单线程2线程4线程8线程16线程32线程
timescaledb1075100810261045923654
PG1092102010701120982737
infuxdb422378398370341305
       
总速率（行/s）单线程2线程4线程8线程16线程32线程
timescaledb10752011400081661435820337
PG10922037403787341508722445
infuxdb4227521588294754449732


WAL文件大小两者基本一致，都是大约数据量的 2倍。WAL文件增加

线程数字节数PG_WAL_SIZETS_WAL_SIZE
1186975623742827237464824
2373792237454714475026672
474785548149803536149525488
8149548561298455240298400040
16299134911596227840596302792
3259838511511916109521194038480

BATCH写入

单线程行数设为1000万， BATCHSIZE 设为1000

PG优于TIMESCALEDB。

每线程1000W行数据batchsize=1000
线程平均速率（行/s）单线程8线程
timescaledb2673211916
PG3911314972
   
   
总速率（行/s）单线程8线程
timescaledb2673295140
PG39113119528

资源占用

TDSB 32线程， CPU平均占用 57%。 比PG高10%。

PG 32线程， CPU平均占用 46%.

CASE 2 增加一个索引

 增加id为索引

ts1=# \d+ ckts1
                                            Table "public.ckts1"
 Column |           Type           | Collation | Nullable | Default | Storage  | Stats target | Description 
--------+--------------------------+-----------+----------+---------+----------+--------------+-------------
 time   | timestamp with time zone |           | not null |         | plain    |              | 
 id     | integer                  |           |          |         | plain    |              | 
 col2   | integer                  |           |          |         | plain    |              | 
 col3   | integer                  |           |          |         | plain    |              | 
 col4   | integer                  |           |          |         | plain    |              | 
 col5   | integer                  |           |          |         | plain    |              | 
 col6   | integer                  |           |          |         | plain    |              | 
 col7   | integer                  |           |          |         | plain    |              | 
 col8   | integer                  |           |          |         | plain    |              | 
 col9   | integer                  |           |          |         | plain    |              | 
 col10  | integer                  |           |          |         | plain    |              | 
 col11  | integer                  |           |          |         | plain    |              | 
 col12  | character varying(30)    |           |          |         | extended |              | 
 col13  | character varying(30)    |           |          |         | extended |              | 
 col14  | character varying(30)    |           |          |         | extended |              | 
 col15  | character varying(30)    |           |          |         | extended |              | 
 col16  | character varying(30)    |           |          |         | extended |              | 
 col17  | character varying(30)    |           |          |         | extended |              | 
 col18  | character varying(30)    |           |          |         | extended |              | 
 col19  | character varying(30)    |           |          |         | extended |              | 
 col20  | character varying(30)    |           |          |         | extended |              | 
Indexes:
    "ckts1_id_idx" btree (id)
    "ckts1_time_idx" btree ("time" DESC)
Triggers:
    ts_insert_blocker BEFORE INSERT ON ckts1 FOR EACH ROW EXECUTE PROCEDURE _timescaledb_internal.insert_blocker()

ts1=# 

postgres=# \d+ cts1
                                            Table "public.cts1"
 Column |           Type           | Collation | Nullable | Default | Storage  | Stats target | Description 
--------+--------------------------+-----------+----------+---------+----------+--------------+-------------
 time   | timestamp with time zone |           | not null |         | plain    |              | 
 id     | integer                  |           |          |         | plain    |              | 
 col2   | integer                  |           |          |         | plain    |              | 
 col3   | integer                  |           |          |         | plain    |              | 
 col4   | integer                  |           |          |         | plain    |              | 
 col5   | integer                  |           |          |         | plain    |              | 
 col6   | integer                  |           |          |         | plain    |              | 
 col7   | integer                  |           |          |         | plain    |              | 
 col8   | integer                  |           |          |         | plain    |              | 
 col9   | integer                  |           |          |         | plain    |              | 
 col10  | integer                  |           |          |         | plain    |              | 
 col11  | integer                  |           |          |         | plain    |              | 
 col12  | character varying(30)    |           |          |         | extended |              | 
 col13  | character varying(30)    |           |          |         | extended |              | 
 col14  | character varying(30)    |           |          |         | extended |              | 
 col15  | character varying(30)    |           |          |         | extended |              | 
 col16  | character varying(30)    |           |          |         | extended |              | 
 col17  | character varying(30)    |           |          |         | extended |              | 
 col18  | character varying(30)    |           |          |         | extended |              | 
 col19  | character varying(30)    |           |          |         | extended |              | 
 col20  | character varying(30)    |           |          |         | extended |              | 
Indexes:
    "cst1_id_index" btree (id)
    "cts1_time_index" btree ("time")

单行写入

10万行数据，单条写入

和没有添加索引时性能差不多，PG看起来性能下降更多一点。

总速率（行/s）单线程
timescaledb1051
PG1019

 

BATCH写入

每线程1000万行数据，batchsize设为1000， 8线程处理，13.9G数据

增加一个索引以后，PG和TSDB比之前性能都有所降低，PG写入仍旧比TSDB快。

每线程1000W行数据batchsize=1000
线程平均速率（行/s）单线程8线程
timescaledb2614210591
PG3686113037
   
   
总速率（行/s）单线程8线程
timescaledb2614284588
PG36861103806

资源占用

8线程,batchsize=1000, TSDB CPU占用80%左右

8线程,batchsize=1000, PG CPU占用60%左右

 

CASE 3 大量数据

设置PG的表cts1索引time为DESC（倒序)，测试结果与上面并无不同

postgres=# \d+ cts1
                                            Table "public.cts1"
 Column |           Type           | Collation | Nullable | Default | Storage  | Stats target | Description 
--------+--------------------------+-----------+----------+---------+----------+--------------+-------------
 time   | timestamp with time zone |           | not null |         | plain    |              | 
 id     | integer                  |           |          |         | plain    |              | 
 col2   | integer                  |           |          |         | plain    |              | 
 col3   | integer                  |           |          |         | plain    |              | 
 col4   | integer                  |           |          |         | plain    |              | 
 col5   | integer                  |           |          |         | plain    |              | 
 col6   | integer                  |           |          |         | plain    |              | 
 col7   | integer                  |           |          |         | plain    |              | 
 col8   | integer                  |           |          |         | plain    |              | 
 col9   | integer                  |           |          |         | plain    |              | 
 col10  | integer                  |           |          |         | plain    |              | 
 col11  | integer                  |           |          |         | plain    |              | 
 col12  | character varying(30)    |           |          |         | extended |              | 
 col13  | character varying(30)    |           |          |         | extended |              | 
 col14  | character varying(30)    |           |          |         | extended |              | 
 col15  | character varying(30)    |           |          |         | extended |              | 
 col16  | character varying(30)    |           |          |         | extended |              | 
 col17  | character varying(30)    |           |          |         | extended |              | 
 col18  | character varying(30)    |           |          |         | extended |              | 
 col19  | character varying(30)    |           |          |         | extended |              | 
 col20  | character varying(30)    |           |          |         | extended |              | 
Indexes:
    "cts1_id_idx" btree (id)
    "cts1_time_idx" btree ("time" DESC)

ts1=# \d+ ckts1
                                            Table "public.ckts1"
 Column |           Type           | Collation | Nullable | Default | Storage  | Stats target | Description 
--------+--------------------------+-----------+----------+---------+----------+--------------+-------------
 time   | timestamp with time zone |           | not null |         | plain    |              | 
 id     | integer                  |           |          |         | plain    |              | 
 col2   | integer                  |           |          |         | plain    |              | 
 col3   | integer                  |           |          |         | plain    |              | 
 col4   | integer                  |           |          |         | plain    |              | 
 col5   | integer                  |           |          |         | plain    |              | 
 col6   | integer                  |           |          |         | plain    |              | 
 col7   | integer                  |           |          |         | plain    |              | 
 col8   | integer                  |           |          |         | plain    |              | 
 col9   | integer                  |           |          |         | plain    |              | 
 col10  | integer                  |           |          |         | plain    |              | 
 col11  | integer                  |           |          |         | plain    |              | 
 col12  | character varying(30)    |           |          |         | extended |              | 
 col13  | character varying(30)    |           |          |         | extended |              | 
 col14  | character varying(30)    |           |          |         | extended |              | 
 col15  | character varying(30)    |           |          |         | extended |              | 
 col16  | character varying(30)    |           |          |         | extended |              | 
 col17  | character varying(30)    |           |          |         | extended |              | 
 col18  | character varying(30)    |           |          |         | extended |              | 
 col19  | character varying(30)    |           |          |         | extended |              | 
 col20  | character varying(30)    |           |          |         | extended |              | 
Indexes:
    "ckts1_id_idx" btree (id)
    "ckts1_time_idx" btree ("time" DESC)
Triggers:
    ts_insert_blocker BEFORE INSERT ON ckts1 FOR EACH ROW EXECUTE PROCEDURE _timescaledb_internal.insert_blocker()

怀疑因为数据量不够大，导致TSDB写入性能优势没能体现

增大数据量到1亿行

batchsize = 1000，单线程写入

行数字节数PG执行时间TSDB执行时间PG行速率TSDB行速率(行/s)TSDB TRUNK数量
2000万3.45GB565 s817 s35398 (行/s)24480 (行/s)30
1亿17.4GB2782 s3992 s35945 (行/s)25050 (行/s)166

结果仍然是PG写入速度更快。

To be continued...

小湿哥
关注
专栏目录
CentOS 7.6安装ZABBIX 4.4.0 + TimescaleDB
qq_40907977的博客
11-30 1530
介绍 2019.10 ZABBIX 4.4.0 正式发布，发布全新的基于Go语言编写全新agent2和众多新功能特性，接下来介绍最重要的新功能，TimescaleDB数据库，ZABBIX除了支持MySQL、PostgreSQL、Oracle和DB2之外，ZABBIX 官方正式宣布支持TimescaleDB。与传统的关系数据库相比，TimescaleDB有诸多优点：近乎线性的性能水平，支持自动即时删...
聚焦 TimescaleDB VS TDengine 性能对比报告，五大场景全面分析写入与查询
涛思数据
05-17 940
从上述 TSBS 测试报告中我们可以得出结论，不管是在写入性能、查询性能还是存储性能，TDengine 比 TimescaleDB 都略胜一筹，且不论是服务器的 CPU 还是 IO 抑或是客户端的开销统计，TDengine 均远优于 TimescaleDB。尤其本次性能测试还是基于 Timescale 打造的基准性能测试平台 TSBS 进行的，测试结果的公平公正性可见一斑。
12个提升PostgreSQL_TSDB 插入性能的建议
DEEPEXI_2048Lab的博客
07-14 1572
本文将分别从以下两个方面给出提升插入性能的建议: 一提升PostgreSQL性能；二选择并配置TSDB以获得更好的插入性能。 其中一些方法可能会让您感到比较新奇，但所有十二种方法都将帮助您在使用PostgreSQL和TSDB时提升写入性能。
PostgreSQL创建超表总结
最新发布
江节胜-胜行天下
07-23 536
在没有任何主键、没有任何普通索引时执行，可以执行成功，且会自动执行一条create_time的普通索引。1、在没有任何主键、没有任何普通索引时，可创建成功，【且会自动添加一条create_time的普通索引】7、有id主键，有create_time等其他字段的普通组合索引时，【创建不成功】2、在没有任何主键、有create_time单个字段的普通索引时，可创建成功。6、有id主键，有create_time单个字段的普通索引时，【创建不成功】5、有id主键、且有create_time主键时，可创建成功。
pg9.6单纯写性能探索
BillyZhu的博客
06-08 1084
# AntDB读写分离探索本次测试过程将AntDB集群的datanode slave备机节点作为可读节点来实现。这样做的主要目的是合理利用资源，提高系统吞吐量。**适用场景：** 针对同一时间有大量的读操作和较少的写操作，并且读操作对数据的实时性要求并没有那么高。在此前提下，可以这么设计解决方案。### 一、环境准备----本次测试过程只考虑一主一从的场景，datanode 一主两从的场景原理类似...
记一次 TimescaleDB 性能优化
mofei
03-19 2836
项目中使用TimescaleDB来存储时序数据，最近发现查询很慢，且对服务器资源消耗较大。通过查看官方文档，慢日志等方式，找到了一些可以优化的地方，包括索引优化、SQL优化、调整分区大小、删除过时的块、压缩。
timescaledb和influxdb单行写入性能
jacicson1987的专栏
10-09 2541
目录 测试结果摘要 测试环境 Influxdb单行写入测试 测试结果 资源占用 timescaledb单行写入测试 测试结果 资源占用 结果对比 测试结果摘要 单行写入性能，timescaledb超过influxdb的2倍。不论单线程还是多线程。更详细的结果请看后文。 线程平均速率（行/s） 单线程 2线程 4线程 8线程 16线程 32...
时序数据库DolphinDB和TimescaleDB 性能对比测试报告
cpongo5
03-07 378
\u003cblockquote\u003e\n\u003cp\u003e在本文中，我们对 TimescaleDB 和 DolphinDB在时间序列数据集上进行了性能对比测试。测试涵盖了 CSV 数据文件的导入导出、磁盘空间占用、查询性能等三方面。\u003c/p\u003e\n\u003c/blockquote\u003e\n\u003cp\u003e在我们进行的所有测试中，DolphinDB ...
PostgreSQL 数据写入性能测试
热门推荐
将臣三代的博客
05-19 1万+
1主2从SR同步流复制测 搭建环境略，可参考之前文章 Server | Role 10.10.56.16 | master 10.10.56.17 | slave1 10.10.56.19 | slave2 16查询状态 pocdb=# SELECT client_addr,application_name,sync_state FROM pg_stat_replicat...
ShiftLeft使用PostgreSQL插件TimescaleDB经验谈
weixin_34378045的博客
12-14 442
原文作者：ShiftLeft资深基础架构工程师Preetam Jinka，发布于2018年12月5日。本文最初作为Time Series发布于ShiftLeft。时间序列（Time series）是ShiftLeft运行时体验的主要组成部分。对于很多其他产品和组织来说也是如此，但是，每种情况都涉及不同的特性和要求。本文描述了我们必须要用到的要求，我们如何使用TimescaleDB来存储和检索时间序...
mysql8和postgresql比较_MySQL8和PostgreSQL10功能对比
weixin_39623716的博客
01-20 1529
现在MySQL 8和PostgreSQL 10已经发布，现在是重新审视两个主要的开源关系数据库如何相互竞争的好时机。在这些版本之前，一般的看法是，虽然Postgres在功能集及血统方面更胜一筹，但MySQL在大规模并发读/写操作方面进行了更多的大规模测试。但是随着最新版本的发布，两者之间的差距已大大缩小。功能对比下面看一下通常我们认为比较时髦的功能。特征MySQL8PostgreSQL10查询和分...
TimescaleDB的介绍
06-04
TimescaleDB的介绍 ： 1、什么是TimescaleDB？ 2、为什么使用它？ 3、它的安装、更新软件的问题 等等····
Postgre数据库Insert 、Query性能优化详解
09-10
主要介绍了Postgre数据库Insert和Query性能优化的步骤，大家可以参考使用
用Python和SQLite存储时间序列数据：高效与低成本的解决方案
程序员光剑
07-19 3098
作者：禅与计算机程序设计艺术 时序数据库是专门处理和分析结构化、时间相关的数据的一种数据库系统。它能够对按照时间顺序排列的数据进行快速高效地查询、聚合、统计等操作。时序数据的特点是随着时间的推移而增长，记录了实体在不同时刻或状态的变化情况，因此需要一种有效率的方式来管理这些数据。目前，主流的时序数据库包括InfluxDB、TimeScal
主流时序数据库对比和架构分析
击水三千里的专栏
04-14 933
时间序列数据库主要用于指处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据。
聚焦 TimescaleDB VS TDengine 性能对比报告，IoT 场景下全面分析写入与查询
涛思数据
08-03 460
本篇文章将为大家带来TimescaleDB 与 TDengine从写入、存储、查询及资源开销等维度的对比分析。
探索高效时间序列数据库基准测试工具：TSBS
gitblog_00094的博客
03-26 378
探索高效时间序列数据库基准测试工具：TSBS tsbsTime Series Benchmark Suite, a tool for comparing and evaluating databases for time series data项目地址:https://gitcode.com/gh_mirrors/ts/tsbs 项目简介 是 Timescale 公司开源的一个项目，全称 Tim...
PG数据库单表插入大量数据引发性能故障
weixin_34009794的博客
10-16 3989
postgres数据库大批量单表导入数据引发性能故障 因公司经营管理策略原因，我们地区部门还是以开发外包和产品服务为主，对测试外包服务销售工作要求占比不高，而测试部门本来有四五个性能测试人员，加上老员工都比较积极做事在测试团队建设管理上不用花费太多精力。估计因为我对数据库、tomcat、linux性能这块了解比较深以前相关的测试环境都是我搭建部署，一...
PostgreSQL扩展之Timescaledb：时间序列数据
whdxlxl的专栏
05-08 1646
TimescaleDB是一个开源的分布式时序数据库，它构建在流行的关系数据库管理系统PostgreSQL之上。TimescaleDB专门设计用于存储和查询大规模时序数据，如传感器数据、监控数据、日志数据和其他时间相关的信息。TimescaleDB具有以下特点：与PostgreSQL兼容：TimescaleDB是一个PostgreSQL扩展，因此它兼容PostgreSQL，这意味着您可以使用标准的SQL语法来查询和管理时序数据，同时还能够利用PostgreSQL的强大功能。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值