让 sysbench 支持 PostgreSQL 服务端绑定变量

最新推荐文章于 2024-06-18 18:01:38 发布
最新推荐文章于 2024-06-18 18:01:38 发布
阅读量371 收藏
点赞数
文章标签： 数据库 lua
原文链接：https://yq.aliyun.com/articles/34870
版权

首先介绍一下几种数据库绑定变量的语义。
.1. PostgreSQL 绑定变量的语义是使用?来表示任意位置的变量, 例如 :

select info from test where id=? and c1=?;

.2. Oracle 使用:var来表示变量，例如：

   stmt = db_prepare("UPDATE ".. table_name .." SET k=k+1 WHERE id=to_number(:x) and 'a' = :y")
   params = {}
   params[1] = '444'
   params[2] = 'a'
   db_bind_param(stmt, params)

.3. MySQL 使用?来表示变量，例如：

   points = ""
   for i = 1,random_points do
      points = points .. "?, "
   end
   
   -- Get rid of last comma and space.
   points = string.sub(points, 1, string.len(points) - 2)
   
   stmt = db_prepare([[
        SELECT id, k, c, pad
          FROM sbtest
          WHERE k IN (]] .. points .. [[)
        ]])

   params = {}
   for j = 1,random_points do
      params[j] = 1
   end

   db_bind_param(stmt, params)

但是sysbench 对PG绑定变量的支持并不好，例如：

vi lua/oltp_pg.lua

pathtest = string.match(test, "(.*/)") or ""

dofile(pathtest .. "common.lua")

function thread_init(thread_id)
   set_vars()

   stmt = db_prepare([[
        SELECT info
          FROM test
          WHERE id = ? and 'a' = ?
        ]])

   params = {}
   params[1] = 1
   params[2] = 'a'

   db_bind_param(stmt, params)
end

function event(thread_id)
   params[1] = string.format("%d", sb_rand(1, oltp_table_size))
   params[2] = 'a'
   db_query('BEGIN')
   db_execute(stmt)
   db_query('COMMIT')
end

测试

./sysbench_pg \
--test=lua/oltp_pg.lua   \
--db-driver=pgsql   \
--pgsql-host=127.0.0.1   \
--pgsql-port=1921   \
--pgsql-user=postgres   \
--pgsql-password=postgres   \
--pgsql-db=postgres   \
--oltp-tables-count=1   \
--oltp-table-size=1000000   \
--num-threads=1    \
--max-time=120    \
--max-requests=0   \
--report-interval=1   \
run

报错如下

sysbench 0.5:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 1
Report intermediate results every 1 second(s)
Random number generator seed is 0 and will be ignored


Threads started!

FATAL: query execution failed: -872378608
FATAL: failed to execute function `event': (null)

数据库端的错误信息，bind失败，未正确的提交2个参数。

2016-04-28 22:44:12.330 CST,"postgres","postgres",10763,"[local]",572221bc.2a0b,1,"BIND",2016-04-28 22:44:12 CST,1/4646740,0,ERROR,22P02,"invalid input syntax for integer: """"",,,,,,"        SELECT info
          FROM test
          WHERE id = $1 and 'a' = $2
        ",,"pg_atoi, numutils.c:52",""

使用gdb跟踪到报错的代码：

int sb_lua_db_execute(lua_State *L)@sysbench/scripting/script_lua.c

在fix这个bug之前，本文的目的是要让sysbench支持服务端的绑定变量。
需要用到PostgreSQL的prepare语句和execute语句。
例子， 在thread_init中定义一次prepare，在event中执行execute。
为了让sysbench能统计每秒的tps，必须使用显示的begin; 和 commit;

vi lua/oltp_pg.lua

pathtest = string.match(test, "(.*/)") or ""

dofile(pathtest .. "common.lua")

function thread_init(thread_id)
   set_vars()

   db_query('prepare p' .. thread_id .. '(int) as select * from test where id=$1')
end

function event(thread_id)
   local rs
   local i

   i = sb_rand(1, oltp_table_size)
   rs = db_query("begin" )
   rs = db_query("execute p".. thread_id .. "(" .. i .. ")" )
   -- rs = db_query("select * from test where id=" .. i )
   rs = db_query("commit" )

end

测试

create table test (id int primary key, info text);
insert into test select generate_series(1,1000000),'test';

sysbench_pg

./sysbench_pg \
--test=lua/oltp_pg.lua   \
--db-driver=pgsql   \
--pgsql-host=127.0.0.1   \
--pgsql-port=1921   \
--pgsql-user=postgres   \
--pgsql-password=postgres   \
--pgsql-db=postgres   \
--oltp-tables-count=1   \
--oltp-table-size=1000000   \
--num-threads=1    \
--max-time=120    \
--max-requests=0   \
--report-interval=1   \
run


[   1s] threads: 128, tps: 468353.17, reads/s: 0.00, writes/s: 0.00, response time: 0.33ms (95%)
[   2s] threads: 128, tps: 474536.37, reads/s: 0.00, writes/s: 0.00, response time: 0.32ms (95%)
[   3s] threads: 128, tps: 476768.82, reads/s: 0.00, writes/s: 0.00, response time: 0.32ms (95%)
[   4s] threads: 128, tps: 477219.36, reads/s: 0.00, writes/s: 0.00, response time: 0.32ms (95%)
[   5s] threads: 128, tps: 476848.04, reads/s: 0.00, writes/s: 0.00, response time: 0.32ms (95%)

连接unix socket

./sysbench_pg \
--test=lua/oltp_pg.lua   \
--db-driver=pgsql   \
--pgsql-host=$PGDATA   \
--pgsql-port=1921   \
--pgsql-user=postgres   \
--pgsql-password=postgres   \
--pgsql-db=postgres   \
--oltp-tables-count=1   \
--oltp-table-size=1000000   \
--num-threads=1    \
--max-time=120    \
--max-requests=0   \
--report-interval=1   \
run

[   1s] threads: 128, tps: 534132.82, reads/s: 0.00, writes/s: 0.00, response time: 0.29ms (95%)
[   2s] threads: 128, tps: 539569.98, reads/s: 0.00, writes/s: 0.00, response time: 0.29ms (95%)
[   3s] threads: 128, tps: 542427.96, reads/s: 0.00, writes/s: 0.00, response time: 0.29ms (95%)
[   4s] threads: 128, tps: 542168.03, reads/s: 0.00, writes/s: 0.00, response time: 0.28ms (95%)

测试一下未使用服务端绑定变量的性能，把oltp_pg.lua的内容修改一下 :

   -- rs = db_query("execute p".. thread_id .. "(" .. i .. ")" )
   rs = db_query("select * from test where id=" .. i )

测试结果

./sysbench_pg \
--test=lua/oltp_pg.lua   \
--db-driver=pgsql   \
--pgsql-host=127.0.0.1   \
--pgsql-port=1921   \
--pgsql-user=postgres   \
--pgsql-password=postgres   \
--pgsql-db=postgres   \
--oltp-tables-count=1   \
--oltp-table-size=1000000   \
--num-threads=1    \
--max-time=120    \
--max-requests=0   \
--report-interval=1   \
run

[   1s] threads: 128, tps: 367946.22, reads/s: 367985.22, writes/s: 0.00, response time: 0.40ms (95%)
[   2s] threads: 128, tps: 371138.13, reads/s: 371137.13, writes/s: 0.00, response time: 0.40ms (95%)
[   3s] threads: 128, tps: 371514.94, reads/s: 371525.94, writes/s: 0.00, response time: 0.40ms (95%)
[   4s] threads: 128, tps: 371680.18, reads/s: 371663.18, writes/s: 0.00, response time: 0.40ms (95%)

./sysbench_pg \
--test=lua/oltp_pg.lua   \
--db-driver=pgsql   \
--pgsql-host=$PGDATA   \
--pgsql-port=1921   \
--pgsql-user=postgres   \
--pgsql-password=postgres   \
--pgsql-db=postgres   \
--oltp-tables-count=1   \
--oltp-table-size=1000000   \
--num-threads=1    \
--max-time=120    \
--max-requests=0   \
--report-interval=1   \
run

[   1s] threads: 128, tps: 410439.59, reads/s: 410484.59, writes/s: 0.00, response time: 0.37ms (95%)
[   2s] threads: 128, tps: 414555.41, reads/s: 414568.41, writes/s: 0.00, response time: 0.36ms (95%)
[   3s] threads: 128, tps: 415483.61, reads/s: 415468.61, writes/s: 0.00, response time: 0.36ms (95%)
[   4s] threads: 128, tps: 416120.30, reads/s: 416125.30, writes/s: 0.00, response time: 0.36ms (95%)

对比pgbench：

vi test.sql

\setrandom id 1 1000000
begin;
select info from test where id=:id;
commit;

未使用绑定变量

pgbench -M simple -n -r -P 1 -f ./test.sql -c 128 -j 128 -T 100 -h 127.0.0.1
progress: 2.0 s, 406356.7 tps, lat 0.314 ms stddev 0.065
progress: 3.0 s, 408601.2 tps, lat 0.312 ms stddev 0.053
progress: 4.0 s, 409713.9 tps, lat 0.311 ms stddev 0.048
progress: 5.0 s, 410598.9 tps, lat 0.311 ms stddev 0.046

pgbench -M simple -n -r -P 1 -f ./test.sql -c 128 -j 128 -T 100 -h $PGDATA
progress: 2.0 s, 455661.7 tps, lat 0.279 ms stddev 0.042
progress: 3.0 s, 456656.3 tps, lat 0.279 ms stddev 0.078
progress: 4.0 s, 458107.1 tps, lat 0.278 ms stddev 0.033
progress: 5.0 s, 458687.4 tps, lat 0.278 ms stddev 0.033

使用绑定变量

pgbench -M prepared -n -r -P 1 -f ./test.sql -c 128 -j 128 -T 100 -h 127.0.0.1
progress: 2.0 s, 575148.0 tps, lat 0.222 ms stddev 0.057
progress: 3.0 s, 577477.6 tps, lat 0.221 ms stddev 0.060
progress: 4.0 s, 578402.7 tps, lat 0.220 ms stddev 0.058
progress: 5.0 s, 580408.2 tps, lat 0.220 ms stddev 0.043

pgbench -M prepared -n -r -P 1 -f ./test.sql -c 128 -j 128 -T 100 -h $PGDATA
progress: 2.0 s, 650961.8 tps, lat 0.195 ms stddev 0.033
progress: 3.0 s, 653079.1 tps, lat 0.195 ms stddev 0.027
progress: 4.0 s, 653964.2 tps, lat 0.194 ms stddev 0.034
progress: 5.0 s, 655027.3 tps, lat 0.194 ms stddev 0.027
progress: 6.0 s, 655417.3 tps, lat 0.194 ms stddev 0.039

使用auto commit

vi test.sql

begin;
\setrandom id 1 1000000
select info from test where id=:id;

未使用绑定变量

pgbench -M simple -n -r -P 1 -f ./test.sql -c 128 -j 128 -T 100 -h 127.0.0.1
progress: 2.0 s, 582766.5 tps, lat 0.218 ms stddev 0.034
progress: 3.0 s, 585359.1 tps, lat 0.217 ms stddev 0.033
progress: 4.0 s, 585994.5 tps, lat 0.217 ms stddev 0.070

pgbench -M simple -n -r -P 1 -f ./test.sql -c 128 -j 128 -T 100 -h $PGDATA
progress: 2.0 s, 623373.9 tps, lat 0.204 ms stddev 0.397
progress: 3.0 s, 626771.3 tps, lat 0.203 ms stddev 0.260
progress: 4.0 s, 623826.0 tps, lat 0.204 ms stddev 0.590
progress: 5.0 s, 625747.0 tps, lat 0.203 ms stddev 0.679

使用绑定变量

pgbench -M prepared -n -r -P 1 -f ./test.sql -c 128 -j 128 -T 100 -h 127.0.0.1
progress: 2.0 s, 1024293.8 tps, lat 0.124 ms stddev 0.024
progress: 3.0 s, 1027868.7 tps, lat 0.123 ms stddev 0.026
progress: 4.0 s, 1030192.5 tps, lat 0.123 ms stddev 0.024
progress: 5.0 s, 1031413.8 tps, lat 0.123 ms stddev 0.022

pgbench -M prepared -n -r -P 1 -f ./test.sql -c 128 -j 128 -T 100 -h $PGDATA
progress: 3.0 s, 1134774.5 tps, lat 0.112 ms stddev 0.018
progress: 4.0 s, 1136322.2 tps, lat 0.111 ms stddev 0.020
progress: 5.0 s, 1138087.2 tps, lat 0.111 ms stddev 0.020
progress: 6.0 s, 1138184.3 tps, lat 0.111 ms stddev 0.018

毫无疑问，最好的性能是，使用绑定变量，auto commit，unix socket。
下面是以上几组按KEY查询的TPS性能对比图：
_

下一篇介绍一下TPS瓶颈分析之网络瓶颈。

weixin_34112900
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sysbench-tpcc：Sysbench脚本为MySQL和PostgreSQL生成类似tpcc的工作负载
02-04
Sysbench不仅限于MySQL和PostgreSQL，它还能支持其他多种数据库系统，如Oracle和MariaDB等。该工具提供了各种不同的测试场景，包括压力测试、读写混合测试、全读测试等，用户可以根据需求定制测试参数，以模拟实际...
数据库经典压测工具sysbench双版本 sysbench0.5支持oracle sysbench1.1 支持达梦 附详细文档
08-31
本篇文章将深入探讨sysbench的两个版本——sysbench0.5和sysbench1.1，并详细阐述它们对Oracle及达梦数据库的支持。 首先，sysbench0.5是针对早期版本的sysbench，它主要专注于MySQL数据库的性能测试，但也提供了对...
改写 sysbench oltp.lua 支持PostgreSQL绑定变量
weixin_34294649的博客
04-27 179
源码在这里 https://github.com/digoal/sysbench_lua/tree/master/lua已经把oltp.lua改掉了，支持10条SQL，(有需要可以再自行调整)包括 但是由于sysbench不能识别execute语句，所以都算成了other query， 实际上就是这些使用了服务端绑定变量的query。 在一台普通的...
PostgreSQL 绑定变量窥探
lyu1026的博客
05-20 1099
今天我们要探讨的是 custom执行计划和通用执行计划。这一技术在 Oracle中被称为绑定变量窥视。但 Kingbase中并没有这样的定义，更严格地说，Kingbase叫做custom执行计划和通用执行计划。 什么是custom执行计划，什么是通用执行计划，我们先来看一个例子，我创建了一个100011行的表，其中有两列分别为 id、 name。在name列就2种类型的值，一种值为“aaa”，有...
sysbench工具测试PostgreSQL数据库性能步骤
rachel_2016的博客
06-11 372
sysbench介绍sysbench是一个基于LuaJIT的可脚本多线程基准测试工具。常用于数据库基准测试，但也可用于创建不涉及数据库服务器的任意复杂工作负载。sysbench除能压测数据库性能之外，还能对其他一些测试对象进行性能测试，包括CPU、内存、线程等的压测，限于篇幅，这里不详细介绍。oltp_*.lua:类似oltp的数据库基准的集合fileio:文件系统级基准测试cpu:简单的cpu基准测试memory:内存访问基准threads:基于线程的调度器基准。
sysbench测试oracle自定义lua以使用绑定变量
在路上
03-23 1232
pathtest = string.match(test, "(.*/)") or "" dofile(pathtest .. "common.lua") function thread_init(thread_id) local table_name set_vars() table_name = "equ_run_data" stmt = db_prepare("
PostgreSQL数据库绑定变量的PBE性能抖动问题
SUOYUEのBLOG
04-29 544
JDBC应用调用PostgreSQL数据库绑定变量的Prepare-Bind-Execute性能抖动问题分析
关于PostgreSQL的绑定变量窥视的问题详解
魂醉的一亩二分地
03-23 993
1. 绑定变量窥视的原理说明 Oracle DBA都知道，绑定变量窥视功能是Oracle数据库的一个特性，自ORACLE9i版本开始引入，是可以通过参数数“_optim_peek_user_binds”来控制是否开启，默认是开启，即为TRUE。这就意味着，第一次以变量的方式执行某类SQL时，会生成第一个执行计划，后续执行该类SQL语句，即使变量的传入值不同，但因变量窥视的作用，依然会沿用第一次SQL语句执行时生成的执行计划，这种特性非常适用于业务表数据分布比较均匀的场景，执行计划比较稳定。但对于数据分布严重
sysbench支持999线源码patch
10-31
sysbench目前的精度最高支持到99线，而这个补丁可以将其提升到999线。在观察系统抖动时，这种提升将极大地帮助我们获取更精确的数据。比如在...
sysbench（sysbench-1.0.20）
10-15
sysbench（sysbench-1.0.20）是一个基于LuaJIT的可编写脚本的多线程基准测试工具，主要用于数据库基准测试。 sysbench-1.0.20.tar.gz sysbench-1.0.20.zip
sysbench 1.0.17
01-04
4. **数据库测试**：sysbench还支持对MySQL、PostgreSQL等数据库进行压力测试，如OLTP（在线事务处理）场景下的读写操作，帮助你评估数据库的并发性能和稳定性。 在`sysbench 1.0.17`这个版本中，可能包含了以下...
PostgreSQL如何查看带有绑定变量SQL的通用执行计划
Focus on PostgreSQL
09-13 753
当我们在PostgreSQL中分析一些历史的SQL问题时，往往看到的SQL都是带有绑定变量的。不仅如此，对于这些带有绑定变量的SQL，我们甚至没法像在Oracle中一样获取一个预估的执行计划。当然还有点需要注意的，如果估计成本高于先前执行的平均成本时就不会选择通用计划了，所以我们可以人为的控制前5次的平均成本，让其达到一个很高的值，这一点我们可以增加cpu_operator_cost的值来实现。我们似乎只能去通过带入值去获取相应的执行计划了，这对于那些绑定变量很多的SQL来说无疑是十分繁琐的。
为什么用 PostgreSQL 绑定变量 没有 Oracle pin S 等待问题
weixin_33748818的博客
06-17 533
早上看到盖国强老师在朋友圈里分享了一篇关于软解析带来的Pin S等待的问题。 有感而发，跟大家聊一聊为什么PostgreSQL不存在这个问题。 Oracle 在Oracle中多个会话高并发的执行同一条SQL，如果使用了绑定变量的话，会产生pin s的等待事件。 原因如下（取自互联网http://www.dbafree.net/?p=778） ...
PostgreSQL 商用版本EPAS(阿里云ppas) NUMA 架构spin锁等待优化
weixin_34220963的博客
01-27 116
标签 PostgreSQL , PPAS , enterprisedb , spin , 锁等待优化 背景 PostgreSQL商用版本EnterpriseDB，对于spin锁等待的一个优化，在NUMA架构的硬件中，当跨SLOT等待SPIN LOCK时，可能遇到性能问题，由于SPIN时CPU时间片被抢占，如果长时间等待会导致CPU空转的资源浪费。 通...
pg 绑定变量源码解析
紫无之紫的博客
06-21 456
下面以callstmt 为例 说明一下绑定参数的执行流程（基于pg13）
PostgreSQL源码分析——绑定变量
最新发布
让我思考一下
06-18 322
这里分析一下函数中应用绑定变量的问题，但实际应用场景中，不推荐这么使用。
如何用 sysbench 并行装载 PostgreSQL 测试数据
weixin_34195546的博客
04-26 243
本文参考老唐的使用sysbench和sqlldr并行装载Oracle测试数据而成。 http://blog.osdba.net/538.html sysbench原来自带的lua数据装载脚本是使用以下方式串行装载的，速度比较慢(比单条insert快，但是比COPY慢)。 insert into table1 values (),(),().......
postgres中的绑定变量 - prepare
文档搬运工
07-08 1232
参考文档： http://postgres.cn/docs/10/sql-prepare.html 类似Oracle的绑定变量 -- prepare语句 PREPARE fooplan (int, int, text) AS INSERT INTO foo VALUES($1, $2, $3); EXECUTE fooplan(4, 2, 't'); mydb=# PREPARE fooplan (int, int, text) AS mydb-# INSERT INTO foo .
Postgresql备份与还原命令pg_dump
热门推荐
白衣
10-07 4万+
我们怎样备份postgresql数据库,远程数据库备份 postgresql数据库的备份和还原命令pg_dump 如何备份postgresql数据库 pg_duml常用命令： 备份：pg_dump -U postgres -d myDBname -f dump.sql其中 还原：createdb newDBname psql -d newDBname -U postgres -f dump.sql
sysbench支持达梦的版本
06-06
sysbench支持多种数据库系统，包括MySQL、PostgreSQL、Oracle和达梦数据库。 达梦数据库是中国自主研发的关系型数据库管理系统，具有高性能、高可靠性和高安全性等优点。sysbench可以通过插件的方式支持达梦数据库...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值