基于BenchmarkSQL的达梦数据库TPCC性能测试

Oracle版本参见：基于BenchmarkSQL的Oracle数据库tpcc性能测试

安装BenchmarkSQL及其依赖

软件包	作用
benchmarksql-5.0.zip	tpcc性能测试
R-3.6.3.tar.gz	生成压测报告

🦁下载地址

• BenchmarkSQL: https://github.com/petergeoghegan/benchmarksql
• R: https://mirror.bjtu.edu.cn/cran/src/base/R-3/R-3.6.3.tar.gz

安装软件依赖

安装依赖软件包：

yum install gcc glibc-headers gcc-c++ gcc-gfortran readline-devel  libXt-devel pcre-devel libcurl libcurl-devel -y

yum install ncurses ncurses-devel autoconf automake zlib zlib-devel bzip2 bzip2-devel xz-devel -y

yum install java-1.8.0-openjdk ant -y

编译安装R语言：

yum install pango-devel pango libpng-devel cairo cairo-devel -y

tar -zxf R-3.6.3.tar.gz
cd R-3.6.3
./configure && make && make install

检查安装情况：

[root@primarydb benchmarksql]# ant -version
Apache Ant(TM) version 1.9.4 compiled on November 5 2018

[root@primarydb benchmarksql]# java -version
openjdk version "1.8.0_362"
OpenJDK Runtime Environment (build 1.8.0_362-b08)
OpenJDK 64-Bit Server VM (build 25.362-b08, mixed mode)

[root@primarydb benchmarksql]# R --version
R version 3.6.3 (2020-02-29) -- "Holding the Windsock"
Copyright (C) 2020 The R Foundation for Statistical Computing
Platform: x86_64-pc-linux-gnu (64-bit)

如果ant命令报如下错误：

[root@primarydb benchmarksql]# ant -version
Unable to locate tools.jar. 
Expected to find it in /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-1.h5.ky10.x86_64/lib/tools.jar

解决办法是安装openjdk-devel包：

yum install java-1.8.0-openjdk-devel -y

编译BenchmarkSQL

解压安装包：

[root@primarydb benchmarksql]# unzip benchmarksql-5.0.zip
[root@primarydb benchmarksql]# ls benchmarksql-5.0/lib/
apache-log4j-extras-1.1.jar  firebird  log4j-1.2.17.jar  oracle  postgres

拷贝达梦数据库驱动到BenchmarkSQL的lib/oracle目录下：

find /opt/dmdbms -name DmJdbcDriver*
cp /opt/dmdbms/driver/jdbc/DmJdbcDriver18.jar benchmarksql-5.0/lib/oracle/

使用ant编译BenchmarkSQL：

[root@primarydb benchmarksql]# cd benchmarksql-5.0
[root@primarydb benchmarksql-5.0]# ant

BenchmarkSQL props文件配置

benchmarksql-5.0/run/props.xxx是使用BenchmarkSQL进行性能测试的主要配置文件。

BenchmarkSQL默认不支持达梦数据库。这里我们让BenchmarkSQL把达梦数据库当作Oracle即可。Oracle数据库对应的测试配置文件为props.ora，将其拷贝为dm.properties编辑：

db=oracle                                               //benchmarksql默认不支持达梦数据库
driver=dm.jdbc.driver.DmDriver                          //数据库驱动
conn=jdbc:dm://127.0.0.1:5236                           //数据库连接串
user=BENCHMARKSQL                                       //数据库连接用户
password=benchmarksql                                   //数据库连接用户密码

warehouses=500        //仓库数，控制测试数据量，每个仓库初始大小约为100MB
loadWorkers=8         //初始化测试数据时，往数据库中加载数据的并发进程数

terminals=40            //客户端并发连接数
//To run specified transactions per terminal- runMins must equal zero
runTxnsPerTerminal=10   //每个客户端运行的事务数量。该参数不为0时，runMins必须为0
//To run for specified minutes- runTxnsPerTerminal must equal zero
runMins=0               //测试的时长，单位为分钟。该参数不为0时，runTxnsPerTerminal必须为0
//Number of total transactions per minute
limitTxnsPerMin=300     //用于限制每分钟提交事务数量，设置为0表示不限制。如果设置太小，压力会不够

//Set to true to run in 4.x compatible mode. Set to false to use the
//entire configured database evenly.
terminalWarehouseFixed=true

//The following five values must add up to 100
//TPC-C规范的默认百分比为45:43:4:4:4
newOrderWeight=45
paymentWeight=43
orderStatusWeight=4
deliveryWeight=4
stockLevelWeight=4

// Directory name to create for collecting detailed result data.
//测试结果数据存储位置和命名规则
resultDirectory=my_result_%tY-%tm-%td_%tH%tM%tS
osCollectorScript=./misc/os_collector_linux.py
osCollectorInterval=1

//收集OS负载信息：eth0和vdb必须匹配服务器网卡和磁盘名称
//osCollectorSSHAddr=user@dbhost
osCollectorDevices=net_eth0 blk_vdb

其中几个重要参数建议按如下规则配置：

• warehouses：每个仓库初始大小约100M。建议测试数据量为数据库服务器物理内存的2到5倍大小；
• loadWorkers：建议配置为CPU核数；
• terminals：建议配置为CPU核数的2到6倍大小；
• limitTxnsPerMin：在固定时长测试时，如果最终测试结果中每分钟事务提交数量很接近该参数的配置，可以调大该参数后重新测试（或将其设置为0）。

数据库用户配置

按照dm.properties中的用户和密码在达梦数据库中创建测试用户，并保证其表空间足够容纳生成的测试数据。可以按照每个warehouse为100M大小进行估算。如果开启了归档，还要考虑归档日志占用的空间。

BenchmarkSQL压测

装载测试数据

使用runDatabaseBuild.sh脚本生成测试数据：

[root@primarydb benchmarksql-5.0]# cd run
[root@primarydb run]# ./runDatabaseBuild.sh dm.properties

TPC-C压测（固定事务数量）

修改dm.properties中的测试模式为固定事务数量：

runTxnsPerTerminal=10
runMins=0

使用runBenchmark.sh脚本进行测试：

[root@primarydb run]# ./runBenchmark.sh dm.properties

执行事务的总数等于terminals与runTxnsPerTerminal的乘积。

测试结束后，会在当前路径下生成一个以dm.properties中参数resultDirectory规则命名的结果目录。

TPC-C压测（固定时长）

修改dm.properties中的测试模式为固定时长：

runTxnsPerTerminal=0
runMins=180

销毁测试数据后重新加载测试：

[root@primarydb run]# ./runDatabaseDestroy.sh dm.properties
[root@primarydb run]# ./runDatabaseBuild.sh dm.properties
[root@primarydb run]# ./runBenchmark.sh dm.properties

生成测试报告

使用generateReport.sh脚本来生成测试报告（需要安装R语言）：

[root@primarydb run]# ls my_result_2023-04-15_182919/
data  run.properties

[root@primarydb run]# ./generateReport.sh my_result_2023-04-15_182919/

[root@primarydb run]# ls my_result_2023-04-15_182919/
blk_vdb_iops.png  cpu_utilization.png  dirty_buffers.png  net_eth0_iops.png  report.html     tpm_nopm.png
blk_vdb_kbps.png  data                 latency.png        net_eth0_kbps.png  run.properties

[root@primarydb run]# zip -r tpcc-dm-report.zip my_result_2023-04-15_182919/

其中，report.html是生成的测试报告，png文件是报告中包含的图片。