Citus性能测试

最新推荐文章于 2024-04-12 16:34:23 发布
最新推荐文章于 2024-04-12 16:34:23 发布
阅读量3.7k 收藏 4
点赞数 1
分类专栏： PostgreSQL 云大物移智 分布式数据存储 数据库技术 文章标签： citus
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fm0517/article/details/79398959
版权

1.【测试环境】

1.1.测试组：Citus with PG10 1+2

1.1.1.协调节点：

CPU：单核2GHz
RAM：2GB
DISK：30GB HDD
主机名：citus
IP地址：192.168.7.129

1.1.2.工作节点1：

CPU：单核2GHz
RAM：2GB
DISK：30GB HDD
主机名：citus-w1
IP地址：192.168.7.130

1.1.3.工作节点2：

CPU：单核2GHz
RAM：2GB
DISK：30GB HDD
主机名：citus-w2
IP地址：192.168.7.131

1.1.4.Citus部署配置：

两分片，单副本。

1.2.对照组：PG10

1.2.1.服务节点：

CPU：单核2GHz
RAM：2GB
DISK：30GB HDD
主机名：pg10host
IP地址：192.168.7.132

2.【测试方法】

PgBench，TPC-B，记录数100万

3.【测试过程】

3.1.对照组环境部署与数据准备

对照组是单机版PG10，所以不需要额外部署环境，数据准备采用了pgbench的initials。

pgbench.exe -i -s 10 -h 192.168.7.132 -p 5432 -U postgres -d pgbench
#参数说明
#-i 初始化模式
#-s 规模 即 10x100000 条账户记录

用COPY方法取出数据给citus备用

psql -h 192.168.7.132 -p 5432 -U postgres -d pgbench
pgbench=# copy (select * from pgbench_tellers) to '/var/lib/pgsql/init/pgbench_tellers.txt';
COPY 100
pgbench=# copy (select * from pgbench_accounts) to '/var/lib/pgsql/init/pgbench_accounts.txt';
COPY 1000000
pgbench=# copy (select * from pgbench_branches) to '/var/lib/pgsql/init/pgbench_branches.txt';
COPY 10

将文件pgbench_tellers.txt、pgbench_accounts.txt、pgbench_branches.txt从pg10host拷贝到citus协调节点上。

3.2.对照组环境部署与数据准备
3.2.1.创建数据库，创建citus插件，部署citus

在3个节点上：

psql -h 192.168.7.129/130/131 -p 5432 -U postgres
pgbench=# drop database pgbench;
pgbench=# create database pgbench;
psql -h 192.168.7.129/130/131 -p 5432 -U postgres -d pgbench
pgbench=# create extension citus;

在协调节点上：

psql -h 192.168.7.129 -p 5432 -U postgres -d pgbench 
pgbench=# SELECT * from master_add_node('192.168.7.130', 5432);
pgbench=# SELECT * from master_add_node('192.168.7.131', 5432);
pgbench=# SELECT * FROM master_get_active_worker_nodes();
3.2.2.创建表

在协调节点上：

psql -h 192.168.7.129 -p 5432 -U postgres -d pgbench

pgbench=# drop table pgbench_accounts;
pgbench=# drop table pgbench_branches;
pgbench=# drop table pgbench_history;
pgbench=# drop table pgbench_tellers;

pgbench=# CREATE TABLE pgbench_accounts
            (
              aid integer NOT NULL,
              bid integer,
              abalance integer,
              filler character(84),
              CONSTRAINT pgbench_accounts_pkey PRIMARY KEY (aid)
            )
            WITH (
              FILLFACTOR=100, 
              OIDS=FALSE
            );
            ALTER TABLE pgbench_accounts
              OWNER TO postgres;


pgbench=# CREATE TABLE pgbench_branches
            (
              bid integer NOT NULL,
              bbalance integer,
              filler character(88),
              CONSTRAINT pgbench_branches_pkey PRIMARY KEY (bid)
            )
            WITH (
              FILLFACTOR=100, 
              OIDS=FALSE
            );
            ALTER TABLE pgbench_branches
              OWNER TO postgres;


pgbench=# CREATE TABLE pgbench_history
            (
              tid integer,
              bid integer,
              aid integer,
              delta integer,
              mtime timestamp without time zone,
              filler character(22)
            )
            WITH (
              OIDS=FALSE
            );
            ALTER TABLE pgbench_history
              OWNER TO postgres;


pgbench=# CREATE TABLE pgbench_tellers
            (
              tid integer NOT NULL,
              bid integer,
              tbalance integer,
              filler character(84),
              CONSTRAINT pgbench_tellers_pkey PRIMARY KEY (tid)
            )
            WITH (
              FILLFACTOR=100, 
              OIDS=FALSE
            );
            ALTER TABLE pgbench_tellers
              OWNER TO postgres;
3.3.3.并设置分片（两分片，单副本）

在协调节点上：

pgbench=# SELECT master_create_distributed_table('pgbench_accounts', 'aid', 'hash');
pgbench=# SELECT master_create_distributed_table('pgbench_branches', 'bid', 'hash');
pgbench=# SELECT master_create_distributed_table('pgbench_history', 'mtime', 'hash');
pgbench=# SELECT master_create_distributed_table('pgbench_tellers', 'tid', 'hash');
pgbench=# SELECT master_create_worker_shards('pgbench_accounts', 2, 1);
pgbench=# SELECT master_create_worker_shards('pgbench_branches', 2, 1);
pgbench=# SELECT master_create_worker_shards('pgbench_history', 2, 1);
pgbench=# SELECT master_create_worker_shards('pgbench_tellers', 2, 1);

pgbench=# SELECT * from pg_dist_shard_placement;
3.3.4.数据准备

将刚才COPY出的数据复制到citus协调节点，用COPY命令导入数据

psql -h 192.168.7.129 -p 5432 -U postgres -d pgbench
pgbench=# copy pgbench_tellers from '/var/lib/pgsql/init/pgbench_tellers.txt';
COPY 100
pgbench=# copy pgbench_branches from '/var/lib/pgsql/init/pgbench_branches.txt';
COPY 10
pgbench=# copy pgbench_accounts from '/var/lib/pgsql/init/pgbench_accounts.txt';
COPY 1000000

pgbench=# vacuum analyze pgbench_branches;
pgbench=# vacuum analyze pgbench_tellers;
pgbench=# vacuum analyze pgbench_accounts;
pgbench=# vacuum analyze pgbench_history;

4.【开始测试】

4.1.测试组

pgbench.exe -c 50 -j 10 -M prepared -n -s 10 -T 60 -r -h 192.168.7.129 -p 5432 -U postgres -d pgbench> E:\pgbench_all.out  2>&1

4.2.对照组

pgbench.exe -c 50 -j 10 -M prepared -n -s 10 -T 60 -r -h 192.168.7.132 -p 5432 -U postgres -d pgbench> E:\pgbench_all.out  2>&1
#参数说明：
#-c 客户端并发数
#-j 线程数
#-M 简单模式/扩展模式/预备模式
#-n 不做vacuum
#-s 规模
#-T 持续时间
#-r 报告

5.【测试结果】

5.1.测试组Citus

pghost: 192.168.7.129 pgport: 5432 nclients: 50 duration: 60 dbName: pgbench
transaction type: TPC-B (sort of)
scaling factor: 10
query mode: prepared
number of clients: 50
number of threads: 10
duration: 60 s
number of transactions actually processed: 15564
latency average: 192.753 ms
tps = 258.061287 (including connections establishing)
tps = 258.262831 (excluding connections establishing)
statement latencies in milliseconds:
    0.020357    \set nbranches 1 * :scale
    0.014827    \set ntellers 10 * :scale
    0.011903    \set naccounts 100000 * :scale
    0.017210    \setrandom aid 1 :naccounts
    0.016534    \setrandom bid 1 :nbranches
    0.013833    \setrandom tid 1 :ntellers
    0.016387    \setrandom delta -5000 5000
    4.548151    BEGIN;
    18.692651   UPDATE pgbench_accounts SET abalance = abalance + :delta WHERE aid = :aid;
    15.102640   SELECT abalance FROM pgbench_accounts WHERE aid = :aid;
    42.506431   UPDATE pgbench_tellers SET tbalance = tbalance + :delta WHERE tid = :tid;
    77.037080   UPDATE pgbench_branches SET bbalance = bbalance + :delta WHERE bid = :bid;
    5.961420    INSERT INTO pgbench_history (tid, bid, aid, delta, mtime) VALUES (:tid, :bid, :aid, :delta, CURRENT_TIMESTAMP);
    28.680671   END;

5.2.对照组PG10

pghost: 192.168.7.132 pgport: 5432 nclients: 50 duration: 60 dbName: pgbench
transaction type: TPC-B (sort of)
scaling factor: 10
query mode: prepared
number of clients: 50
number of threads: 10
duration: 60 s
number of transactions actually processed: 41387
latency average: 72.487 ms
tps = 688.209654 (including connections establishing)
tps = 688.786509 (excluding connections establishing)
statement latencies in milliseconds:
    0.016704    \set nbranches 1 * :scale
    0.015198    \set ntellers 10 * :scale
    0.011359    \set naccounts 100000 * :scale
    0.016007    \setrandom aid 1 :naccounts
    0.015096    \setrandom bid 1 :nbranches
    0.012979    \setrandom tid 1 :ntellers
    0.014853    \setrandom delta -5000 5000
    4.223193    BEGIN;
    2.817537    UPDATE pgbench_accounts SET abalance = abalance + :delta WHERE aid = :aid;
    6.485673    SELECT abalance FROM pgbench_accounts WHERE aid = :aid;
    15.400302   UPDATE pgbench_tellers SET tbalance = tbalance + :delta WHERE tid = :tid;
    30.805555   UPDATE pgbench_branches SET bbalance = bbalance + :delta WHERE bid = :bid;
    1.907898    INSERT INTO pgbench_history (tid, bid, aid, delta, mtime) VALUES (:tid, :bid, :aid, :delta, CURRENT_TIMESTAMP);
    10.506634   END;
皓月如我
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
citus_docs：Citus文档
02-04
适用于Citus文档的Sphinx源文件 生成HTML版本： 从安装Sphinx 克隆此存储库 产生HTML cd citus_docs make # open _build/index.html in your browser Sphinx安装注意：在OS X上，最好通过而非Homebrew安装sphinx...
数据中台Citus集群压测报告
PGCCC的博客
11-15 820
作者简介： 迪颉科技是专注于企业数字化转型数据价值及数据治理，并在大数据、数据中台（零售、制造行业）、dataops/数仓以及数据驱动的应用等，提供专业解决方案的团队。在以往外企的从业经验中，将原来的Teradata等数仓大数据的模型/脚本/数据迁移到hadoop/HTAP开放平台，提供工具链和专业的服务及相关的解决方案。
Citus架构介绍既实验总结
皓月如我的专栏
03-16 3632
1. Citus是什么 是PostgreSQL的扩展，可以同PG一同安装，之后通过SQL命令加入到数据库中。 【相关操作】 #创建Citus扩展： CREATE EXTENSION citus; 2. 节点 2.1. 协调节点（coordinator node，简称CN） 存储所有的元数据，不存储实际数据。为应用系统提供服务，向各工作节点发送查询请求，并汇总结果。对于应用系...
citus 之一 make 安装
最新发布
一名数据库爱好者的专栏
04-12 263
shared_preload_libraries 添加 citus。
Citus 兼容性评估
花花邪思的博客
06-11 634
文章目录Citus 兼容性评估结论1. 对于postgis的支持：2. sql功能支持集群环境下不支持的sql功能查询：更新：DDL：3. 事务支持执行步骤：一致性模型：最终一致性隔离级别：读已提交4. citus性能Insert ThroughputUpdate Throughput Citus 兼容性评估 结论 1. 对于postgis的支持： 结论： 对于ST_AsGeoBuf）这个可以支持表中任意字段的聚集函数支持不好，存在一些bug，需要在sql中通过limit 0 或者子查询等方式绕过限制，进
分布式实时分析数据库citus数据插入性能优化
weixin_34090562的博客
03-13 662
前言 从可靠性和使用便利性来讲单机RDBMS完胜N多各类数据库，但当数据量到了一定量之后，又不得不寻求分布式，列存储等等解决方案。citus是基于PostgreSQL的分布式实时分析解决方案，由于其只是作为PostgreSQL的扩展插件而没有动PG内核，所有随快速随PG主版本升级，可靠性也非常值得信任。 ci...
《童虎学习笔记》5分钟Citus之SQL命令参考
tonghu_note的博客
05-03 772
1
citus-5.2.2.tar.gz
01-13
"5.2.2"则是这个版本的编号，表示这是Citus的第五个主要版本的第二次次要更新，可能包含了错误修复和性能优化。 描述中提到，Citus是PostgreSQL的一个sharding插件。Sharding是一种数据库水平扩展技术，通过将数据...
citus_makefile.patch
08-18
1. 博客：PostgreSQL的学习心得和知识总结（九十一）|深入理解PostgreSQL数据库开源MPP扩展Citus的安装过程及其Makefile的理解 2. https://rng-songbaobao.blog.csdn.net/article/details/125095521
citus扩容实践
12-14
分布式数据库中的扩容是必不可少的需求，citus企业版中可以进行动态扩容，社区版中尚不支持动态扩容。不过我们可以通过修改元数据表中的分片信息来实现类似的功能。 本次实验扩容前只有一个work节点，扩容成两个work...
docker-citus
03-26
码头工人语言plpython3扩展名pg_cron（v1.2.0） cstore_fdw（v1.7.0） pg_partman（v4.3.1） postgresql-hll（v2.14） postgresql-topn（v2.3.0）
试驾 Citus 11.0 beta
虚幻私塾
05-17 233
🚀 优质资源分享 🚀 学习路线指引（点击解锁） 知识定位 人群定位 🧡 Python实战微信订餐小程序 🧡 进阶级 本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。 💛Python量化交易实战💛 入门级 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统 https://www.citusdata.com/blog/2022/03/26/test-drive-citus-11-beta-for-postgres/ Ci
在 Kubernetes 上快速测试 Citus 分布式 PostgreSQL 集群(分布式表，共置，引用表，列存储)...
o__cc的博客
03-24 1201
准备工作 这里假设，你已经在 k8s 上部署好了基于 Citus 扩展的分布式 PostgreSQL 集群。 查看 Citus 集群(kubectl get po -n citus)，1 个 Coordinator(协调器) 节点 + 3 个 Worker(工作器) 节点。 NAME READY STATUS RESTARTS AGE citus...
citus调研（三）- 优势与限制
奔跑的蜗牛
11-09 6322
当前调研基于citus7.5 开源协议 citus的开源协议是GPL v3， 意味着修改和使用其代码都需要开源，但是这是建立在软件分发的基础上，如果使用代码作为服务提供，而不分发软件，则不需要开源。 功能优势 只是PostgreSQL的一个extension；基本兼容PostgreSQL的sql处理能力、管理工具、性能优化和功能扩展等 支持分布式事务；citus使用2pc保证数据的最终一...
分布式实时分析数据库citus数据查询性能简单对比
weixin_34014555的博客
03-24 452
分布式实时分析数据库citus数据查询性能简单对比 如果单纯看实时数据插入的速度，并不能体现citus的价值，还要看聚合查询的性能。下面将集群的查询性能和单机做个简单的对比。 仍使用之前插入测试的环境 分布式实时分析数据库citus数据插入性能优化 分布式实时分析数据库ci...
Citus数据分片分布研究（二 副本与故障）
皓月如我的专栏
03-06 2064
（本文中凡是未显式指出的SQL，均在协调节点上执行） 工作节点 mydb1=# SELECT * FROM master_get_active_worker_nodes(); node_name | node_port ---------------+----------- 192.168.7.131 | 5432 192.168.7.135 | 543...
PostgreSQL 14分布式Citus单机多实例部署
PostgreSQL China
03-17 1804
Citus是一个PostgreSQL扩展，可将Postgres转换为分布式数据库，因此您可以在任何规模上实现高性能。使用Citus，您可以使用新的超能力扩展PostgreSQL数据库：1、分布式表在PostgreSQL节点集群中进行分片，以组合它们的CPU、内存、存储和I/O容量。2、引用表被复制到所有节点，以实现分布式表中的连接和外键以及最大的读取性能。3、分布式查询引擎在整个集群中对分布式表上的SELECT、DML和其他操作进行路由和并行化。
实时性能查询mysql_分布式实时分析数据库citus数据查询性能简单对比
weixin_34653299的博客
02-09 303
分布式实时分析数据库citus数据查询性能简单对比如果单纯看实时数据插入的速度，并不能体现citus的价值，还要看聚合查询的性能。下面将集群的查询性能和单机做个简单的对比。仍使用之前插入测试的环境环境软硬件配置CentOS release 6.5 x64物理机(16C/128G/300GB SSD)CPU: 2*8core 16核32线程， Intel(R) Xeon(R) CPU E5-2630...
分布式实时分析数据库citus数据插入性能优化之二
weixin_34187862的博客
03-23 447
分布式实时分析数据库citus数据插入性能优化之二 在上回的分布式实时分析数据库citus数据插入性能优化提到citus的master上执行计划生成比较耗费时间，下面尝试通过修改源码绕过master的执行计划生成。 环境 软硬件配置 CentOS release 6.5 x64物...
藏经阁-Horizontally Scalable Relation.pdf
08-26
藏经阁-Horizontally Scalable Relation

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

皓月如我

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值