性能测试之PostgreSQL

 

   任务目标:

         NO 1 :利用工具对postgresql数据库进行压力检测,关注不同并发数下的同步效率,

         NO 2 :记录过程中网络时延、不同并发下的TPS、资源使用情况以及对应的主从同步情况,

         NO 3 :模拟异常检查主从数据一致性。


工作环境及工具:

      redhat 7.4  ||  postgresql   ||  psql  ||   pgbench   ||   nmon

   Linux操作系统:常见的生产环境不做过多介绍。

   PostgreSQL:  PostgreSQL是一个功能强大的开源对象关系数据库管理系统(ORDBMS)。 用于安全地存储数据; 支持最佳做                                  法,并允许在处理请求时检索它们。由PostgreSQL全球开发集团(全球志愿者团队)开发。 它不受任何公司                                   或  其他私人实体控制。它是开源的,其 源代码是免费提供的。PostgreSQL是跨平台的,可以在许多操作系                                 统 上运  行,如Linux,OS X和Microsoft Windows等。

                            postgresql与MySQL之间的比较,不做赘述,各持己见。

    psql:命令行工具,也是管理PostgreSQL的主要工具

    pgbench:pgbench 是一个方便的pg 性能测试工具,具体安装和指令参数操作不做赘述。

    nmon:   Nmon ( 又名 Nigel’s Monitor) 是非常常用的系统性能监视工具,由 IBM 工程师 Nigel Griffiths 开发,适用于 AIX 和     Linux 操作系统。该工具可以直接在屏幕上显示当前操作系统的资源利用率,以帮助大家找出系统瓶颈和协助系统调优。


Action:

在登录上主机数据库(ssh远程连接)。

1. 在测试主机准备测试数据库。

pgbench -i --unlogged-tables -s 2 -U postgres -p 5432 -d pgbench -h localhost

一般情况下都能成功

效果

pgbench -i --unlogged-tables -s 2 -U postgres -p 5432 -d postgres -h localhost
NOTICE: table "pgbench_history" does not exist, skipping
NOTICE: table "pgbench_tellers" does not exist, skipping
NOTICE: table "pgbench_accounts" does not exist, skipping
NOTICE: table "pgbench_branches" does not exist, skipping
creating tables...
100000 of 200000 tuples (50%) done (elapsed 0.03 s, remaining 0.03 s)
200000 of 200000 tuples (100%) done (elapsed 0.06 s, remaining 0.00 s)
vacuum...
set primary keys...
done.

pgbench -i --unlogged-tables -s 16 -U postgres -p 5432 -h localhost -d postgres
creating tables...
100000 of 1600000 tuples (6%) done (elapsed 0.03 s, remaining 0.42 s)
200000 of 1600000 tuples (12%) done (elapsed 0.06 s, remaining 0.40 s)
300000 of 1600000 tuples (18%) done (elapsed 0.09 s, remaining 0.37 s)
400000 of 1600000 tuples (25%) done (elapsed 0.14 s, remaining 0.41 s)
500000 of 1600000 tuples (31%) done (elapsed 0.17 s, remaining 0.37 s)
600000 of 1600000 tuples (37%) done (elapsed 0.20 s, remaining 0.33 s)
700000 of 1600000 tuples (43%) done (elapsed 0.23 s, remaining 0.29 s)
800000 of 1600000 tuples (50%) done (elapsed 0.25 s, remaining 0.25 s)
900000 of 1600000 tuples (56%) done (elapsed 0.28 s, remaining 0.22 s)
1000000 of 1600000 tuples (62%) done (elapsed 0.31 s, remaining 0.19 s)
1100000 of 1600000 tuples (68%) done (elapsed 0.42 s, remaining 0.19 s)
1200000 of 1600000 tuples (75%) done (elapsed 0.52 s, remaining 0.17 s)
1300000 of 1600000 tuples (81%) done (elapsed 0.75 s, remaining 0.17 s)
1400000 of 1600000 tuples (87%) done (elapsed 0.96 s, remaining 0.14 s)
1500000 of 1600000 tuples (93%) done (elapsed 1.15 s, remaining 0.08 s)
1600000 of 1600000 tuples (100%) done (elapsed 1.55 s, remaining 0.00 s)
vacuum...
set primary keys...
done.

 结果查询如下:生成了四个测试表 

 

执行压力测试

pgbench -M prepared -r -c 500 -j 500 -T 600 -U postgres -h localhost -p 5432 -d pgbench -l

参数说明 
以上参数中,-M prepared表示绑定变量形式的调用SQL,-r表示报告测试文件中每条SQL的平均执行延迟, 
-c 500表示模拟500个客户端,-j 500表示pgbench的工作线程是500个, 
-T 600表示压力测试的时间是10分钟,-l表示把事务统计写入log,其余的是postgres连接相关的参数 
以上参数,也可以结合命令帮助看出来  

执行结果

 

此处可以看到这个tps是相当的低啊。500X500的并发量下。

借助nmon工具 进行资源情况的查看

C-cpu的资源查看 

-d 磁盘情况的查看 

网络时延的查看,主从互ping

 

数据主从同步情况的查看需要在psql命令下同时执行查询数量

select count(*)from pgbench_histroy

采取了多个数据检测点进行抽样。

这么看来数据统一量在误差范围之内。到此检测完毕。那么其中的问题来了:


问题1 如何设置最高连接数,因为postgresql允许最大连接数为1000,

连接PG报错:“sorry,too many clients already. ”

修改操作如下:

1.合适的最大连接数 
used_connections/max_connections在85%左右
2.修改最大连接数
postgresql最大连接数默认为100
1)打开postgresql配置文件
vim /var/lib/pgsql/9.4/data/postgresql.conf 
2)修改最大连接数
max_connections = 100
3)重启postgresql服务
在CentOS 6.x系统中
service postgresql-9.4 restart 
在CentOS 7系统中
systemctl restart postgresql-9.4 

问题2;处理的并发量太大,修改的问题一还是不行怎么办?

超过1000个连接会报错如下

invalid number of clients  

为了解决这个问题我在全网搜索了一下,众多博客都是来源于以下答案,现将原文po下

《PostgreSQL pgbench 支持100万连接 》 

https://yq.aliyun.com/articles/603293

 

 异常下的检测:

步骤一:将主机执行压力检测,过程中将数据库进程kill掉,

步骤二:此刻查看从机的数据同步量并记录,之后正常停止服务。

systemctl stop postgresql  ,

步骤三:开启主机数据库服务,查看数据库表中数据量,检测与从机数据差异。

文章至此任务完成。有其他问题欢迎探讨。

现贴以下参考文档:

pgSQL学习手册:https://www.cnblogs.com/stephen-liu74/archive/2012/06/06/2312759.html

psql使用技巧:https://www.cnblogs.com/ryanzheng/p/9575902.html

pgbench安装使用:https://www.cnblogs.com/rongfengliang/p/10459650.html

nmon检测性能:https://zhidao.baidu.com/question/1863288736852021747.html

科学增加pg连接数:https://www.cnblogs.com/xiangnan/p/10051240.html

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT散记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值