实践练习五（可选）：对 OceanBase 做性能测试

最新推荐文章于 2024-05-30 15:40:36 发布
最新推荐文章于 2024-05-30 15:40:36 发布
阅读量2.5k 收藏 1
点赞数
文章标签： 服务器 负载均衡 云计算 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54238817/article/details/123172562
版权

第六期直播实践练习（可选）：对一个OB集群（带 OBProxy）进行Benchamrk测试

环境准备

由于手上正好有7台物理机，在作业三中会使用OBD直接部署了2:2:2架构的OceanBase集群。这里直接拿来进行TPC-C测试。

  • 机器信息如下：
机器类型主机信息
IP10.144.2.112,10.144.2.111,10.144.2.110,10.144.2.109,
10.144.2.108,10.144.2.107,10.144.2.107
网卡名bond0
OSCentOS Linux release 7.9.2009 (Core)
CPU64
内存256G，可用230G+
磁盘1/data/1
磁盘2data/2
  • 机器划分如下：
角色机器备注
OBD10.144.2.112中控机，自动化安装部署软件
OBSERVER10.144.2.111OceanBase数据库，zone1
10.144.2.110OceanBase数据库，zone2
10.144.2.109OceanBase数据库，zone3
10.144.2.108OceanBase数据库，zone1
10.144.2.107OceanBase数据库，zone2
10.144.2.106OceanBase数据库，zone3
OBPROXY10.144.2.111OceanBase访问反向代理
10.144.2.110OceanBase访问反向代理
10.144.2.109OceanBase访问反向代理
10.144.2.108OceanBase访问反向代理
10.144.2.107OceanBase访问反向代理
10.144.2.106OceanBase访问反向代理
OBCLIENT10.144.2.112OceanBase命令行客户端

测试方案

  • 使用 OBD 部署OceanBase 数据库集群。TPC-C 单独部署在一台机器上, 作为客户端的压力机器。
  • OceanBase 集群规模为 2：2：2。部署成功后，新建执行 TPC-C 测试的租户及用户：租户tpcc，用户benchmarksql。将租户的 primary_zone 设置为 RANDOM。RANDOM 表示新建表分区的 Leader 随机到这 6 台机器。

测试规格

warehouses=2000
loadWorkers=100
terminals=20
runMins=10
newOrderWeight=45
paymentWeight=43
orderStatusWeight=4
deliveryWeight=4
stockLevelWeight=4

安装 Benchmark SQL

按照以下步骤安装 Benchmark SQL：

  1. 下载 Benchmark SQL。

    本次使用的是开源社区进行适配了mysql的benchmarksql。所以不包含修改源代码适配过程。

  2. 解压 Benchmark SQL。

    unzip ./benchmarksql-5.0.zip

适配OceanBase

这里测试实验的是已经适配了mysql数据库的benchmarksql.

创建ob测试使用的配置文件

benchmarksql\run文件夹内创建prop.ob文件。

prop.ob中的参数说明：

  1. JDBC 连接串：conn=jdbc:mysql:loadbalance://10.144.2.106:2883,10.144.2.107:2883,10.144.2.108:2883,10.144.2.109:2883,10.144.2.110:2883,10.144.2.111:2883/benchmark?rewriteBatchedStatements=true&allowMultiQueries=true&useLocalSessionState=true&useUnicode=true&characterEncoding=utf-8&socketTimeout=3000000
    user=benchmarksql@tpcc
    password=benchmarksql

  2. rewriteBatchedStatements：

  • 参数非常重要，会严重影响导数据效率，不可以忽略。
  • 如果导数据较慢，可以用对应租户登录上去通过show full processlist检查是否开启。
  • new order事务中也用到了batch update，因此导数和benchmark阶段都需要开启。

  1. 并发数量（terminals）：200，mysql 租户配置下并发需要结合具体配置动态调整。

  2. useLocalSessionState：是否使用autocommit，read_only和transaction isolation的内部值(jdbc端的本地值)，建议设置为true，如果设置为false，则需要发语句到远端请求，增加发送请求频次，影响性能。

  3. warehouses/loadWorkers这两项用于设置压测数据量，可以适当调整。

  4. numTerminals > 0 && numTerminals <= 10*numWarehouses，terminals的范围需要在这个区间内。

  5. db=mysql 目前开源版只支持mysql租户，所以这里设置mysql

  6. warehouses：指定仓库数。

    通常仓库数就决定了这个性能测试理论上的成绩。如果期望测试结果越高，仓库数就不能太低。生产环境机器测试，建议 5000 仓库起步。如果机器配置较差，建议 100 仓起步。

  7. loadWorkers：指定仓库数据加载时的并发。

    如果机器配置很好，该值可以设置大一些，比如说 100 个。 如果机器配置不高（尤其是内存），该值需要设置小一些，如 10 个并发。并发指定得过高，可能导致内存消耗太快，出现报错，导致数据加载前功尽弃。

  8. terminals：指定性能压测时的并发数。

    建议并发数不要高于仓库数 * 10 。否则，会有不必要的锁等待。在生产环境中，该并发数设置到 1000 就很高了。一般环境测试建议从 100 开始。

  9. runMins：指定性能测试持续的时间。

    时间越久，越能考验数据库的性能和稳定性。建议不要少于 10 分钟。生产环境中机器建议不少于 1 小时。

  10. LoadStartW 和 LoadStopW：指定补仓时的开始值和截止值。

    如果导数据时发现某个仓库数据导入失败（大事务超时），您可以指定这个仓库重新导入。

修改建表语句

修改benchmarksql/run/sql.mysql/tableCreates.sql

create table bmsql_config (
  cfg_name    varchar(30) primary key,
  cfg_value   varchar(50)
);

-- drop tablegroup tpcc_group;
create tablegroup tpcc_group partition by hash partitions 128;

create table bmsql_warehouse (
  w_id        integer   not null,
  w_ytd       decimal(12,2),
  w_tax       decimal(4,4),
  w_name      varchar(10),
  w_street_1  varchar(20),
  w_street_2  varchar(20),
  w_city      varchar(20),
  w_state     char(2),
  w_zip       char(9),
  primary key(w_id)
)tablegroup='tpcc_group' partition by hash(w_id) partitions 128;

create table bmsql_district (
  d_w_id       integer       not null,
  d_id         integer       not null,
  d_ytd        decimal(12,2),
  d_tax        decimal(4,4),
  d_next_o_id  integer,
  d_name       varchar(10),
  d_street_1   varchar(20),
  d_street_2   varchar(20),
  d_city       varchar(20),
  d_state      char(2),
  d_zip        char(9),
  PRIMARY KEY (d_w_id, d_id)
)tablegroup='tpcc_group' partition by hash(d_w_id) partitions 128;

create table bmsql_customer (
  c_w_id         integer        not null,
  c_d_id         integer        not null,
  c_id           integer        not null,
  c_discount     decimal(4,4),
  c_credit       char(2),
  c_last         varchar(16),
  c_first        varchar(16),
  c_credit_lim   decimal(12,2),
  c_balance      decimal(12,2),
  c_ytd_payment  decimal(12,2),
  c_payment_cnt  integer,
  c_delivery_cnt integer,
  c_street_1     varchar(20),
  c_street_2     varchar(20),
  c_city         varchar(20),
  c_state        char(2),
  c_zip          char(9),
  c_phone        char(16),
  c_since        timestamp,
  c_middle       char(2),
  c_data         varchar(500),
  PRIMARY KEY (c_w_id, c_d_id, c_id)
)tablegroup='tpcc_group' partition by hash(c_w_id) partitions 128;


create table bmsql_history (
  hist_id  integer,
  h_c_id   integer,
  h_c_d_id integer,
  h_c_w_id integer,
  h_d_id   integer,
  h_w_id   integer,
  h_date   timestamp,
  h_amount decimal(6,2),
  h_data   varchar(24)
)tablegroup='tpcc_group' partition by hash(h_w_id) partitions 128;

create table bmsql_new_order (
  no_w_id  integer   not null ,
  no_d_id  integer   not null,
  no_o_id  integer   not null,
  PRIMARY KEY (no_w_id, no_d_id, no_o_id)
)tablegroup='tpcc_group' partition by hash(no_w_id) partitions 128;

create table bmsql_oorder (
  o_w_id       integer      not null,
  o_d_id       integer      not null,
  o_id         integer      not null,
  o_c_id       integer,
  o_carrier_id integer,
  o_ol_cnt     integer,
  o_all_local  integer,
  o_entry_d    timestamp,
  PRIMARY KEY (o_w_id, o_d_id, o_id)
)tablegroup='tpcc_group' partition by hash(o_w_id) partitions 128;

create table bmsql_order_line (
  ol_w_id         integer   not null,
  ol_d_id         integer   not null,
  ol_o_id         integer   not null,
  ol_number       integer   not null,
  ol_i_id         integer   not null,
  ol_delivery_d   timestamp,
  ol_amount       decimal(6,2),
  ol_supply_w_id  integer,
  ol_quantity     integer,
  ol_dist_info    char(24),
  PRIMARY KEY (ol_w_id, ol_d_id, ol_o_id, ol_number)
)tablegroup='tpcc_group' partition by hash(ol_w_id) partitions 128;

create table bmsql_item (
  i_id     integer      not null,
  i_name   varchar(24),
  i_price  decimal(5,2),
  i_data   varchar(50),
  i_im_id  integer,
  PRIMARY KEY (i_id)
) duplicate_scope='cluster';

create table bmsql_stock (
  s_w_id       integer       not null,
  s_i_id       integer       not null,
  s_quantity   integer,
  s_ytd        integer,
  s_order_cnt  integer,
  s_remote_cnt integer,
  s_data       varchar(50),
  s_dist_01    char(24),
  s_dist_02    char(24),
  s_dist_03    char(24),
  s_dist_04    char(24),
  s_dist_05    char(24),
  s_dist_06    char(24),
  s_dist_07    char(24),
  s_dist_08    char(24),
  s_dist_09    char(24),
  s_dist_10    char(24),
  PRIMARY KEY (s_w_id, s_i_id)
)tablegroup='tpcc_group' use_bloom_filter=true partition by hash(s_w_id) partitions 128;

修改索引创建语句

修改benchmarksql/run/sql.mysql/indexCreates.sql

create index bmsql_customer_idx1 on  bmsql_customer (c_w_id, c_d_id, c_last, c_first) local;
create  index bmsql_oorder_idx1 on  bmsql_oorder (o_w_id, o_d_id, o_carrier_id, o_id) local;

修改删除语句

修改benchmarksql/run/sql.mysql/tableDrops.sql

drop table bmsql_config;
drop table bmsql_new_order;
drop table bmsql_order_line;
drop table bmsql_oorder;
drop table bmsql_history;
drop table bmsql_customer;
drop table bmsql_stock;
drop table bmsql_item;
drop table bmsql_district;
drop table bmsql_warehouse;

purge recyclebin;

-- tpcc_group
drop tablegroup tpcc_group

环境调优

OBProxy 调优

请在sys租户下执行。

在系统租户下执行命令。

（1）启动配置
alter proxyconfig set enable_strict_kernel_release=false;
alter proxyconfig set automatic_match_work_thread=false;
（2）跑性能需要调整
alter proxyconfig set proxy_mem_limited='4G'; --防止oom
alter proxyconfig set enable_compression_protocol=false; --关闭压缩，降低cpu%
alter proxyconfig set slow_proxy_process_time_threshold='500ms';
alter proxyconfig set enable_ob_protocol_v2=false;
alter proxyconfig set enable_qos=false;
alter proxyconfig set syslog_level='error';

初始后需要调整的参数

[admin@localhost ~]$ mysql -h10.144.2.106 -uroot@sys -P2883 -p -c -A oceanbase
Enter password: 
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 11
Server version: 5.6.25 OceanBase 3.1.2 (r10000392021123010-d4ace121deae5b81d8f0b40afbc4c02705b7fc1d) (Built Dec 30 2021 02:47:29)

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [oceanbase]> alter proxyconfig set enable_strict_kernel_release=false;
Query OK, 0 rows affected (0.01 sec)

MySQL [oceanbase]> alter proxyconfig set automatic_match_work_thread=false;
Query OK, 0 rows affected (0.01 sec)

跑性能前需要调整的参数

[admin@localhost ~]$ mysql -h10.144.2.106 -uroot@sys -P2883 -p -c -A oceanbase
Enter password: 
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 12
Server version: 5.6.25 OceanBase 3.1.2 (r10000392021123010-d4ace121deae5b81d8f0b40afbc4c02705b7fc1d) (Built Dec 30 2021 02:47:29)

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [oceanbase]> alter proxyconfig set proxy_mem_limited='4G';
Query OK, 0 rows affected (0.01 sec)

MySQL [oceanbase]> alter proxyconfig set enable_compression_protocol=false; 
Query OK, 0 rows affected (0.00 sec)

MySQL [oceanbase]> alter proxyconfig set slow_proxy_process_time_threshold='500ms';
Query OK, 0 rows affected (0.00 sec)

MySQL [oceanbase]> alter proxyconfig set enable_ob_protocol_v2=false;
Query OK, 0 rows affected (0.01 sec)

MySQL [oceanbase]> alter proxyconfig set enable_qos=false;
Query OK, 0 rows affected (0.00 sec)

MySQL [oceanbase]> alter proxyconfig set syslog_level='error';
Query OK, 0 rows affected (0.01 sec)

测试操作执行

以下命令均在 …/benchmarksql/run 目录下执行。按照以下步骤进行 TPC-C 测试：

导数

导数前调优
OceanBase 数据库导数据前sys租户调优

请在sys租户下执行。

在系统租户下执行 obclient -h$host_ip -P$host_port -uroot@sys -A 命令。

alter system set memory_chunk_cache_size ='0';
alter system set trx_try_wait_lock_timeout='0ms';
alter system set large_query_threshold='1s';
alter system set trace_log_slow_query_watermark='500ms';
alter system set syslog_io_bandwidth_limit='30m';
alter system set enable_async_syslog=true;
alter system set merger_warm_up_duration_time='0';
alter system set merger_switch_leader_duration_time='0';
alter system set large_query_worker_percentage=10;
alter system set builtin_db_data_verify_cycle = 0;
alter system set enable_merge_by_turn = False;
alter system set minor_merge_concurrency=30;
alter system set memory_limit_percentage = 85;
alter system set memstore_limit_percentage = 80;
alter system set freeze_trigger_percentage = 30;
alter system set enable_syslog_recycle='True';
alter system set max_syslog_file_count=100;
alter system set minor_freeze_times=500;
alter system set minor_compact_trigger=5;
alter system set max_kept_major_version_number=1;
alter system set sys_bkgd_io_high_percentage = 90;
alter system set sys_bkgd_io_low_percentage = 70;
alter system set merge_thread_count  = 45;
alter system set merge_stat_sampling_ratio = 1;
alter system set writing_throttling_trigger_percentage=75 tenant=xxx;
alter system set writing_throttling_maximum_duration='15m';
set global ob_plan_cache_percentage=20;
alter system set enable_perf_event='false';
alter system set use_large_pages='true';
alter system set micro_block_merge_verify_level=0;
alter system set builtin_db_data_verify_cycle=20;
alter system set net_thread_count=4;

[admin@localhost ~]$ mysql -h10.144.2.111 -uroot@sys -P2881 -p -c -A oceanbase
Enter password: 
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 3222798340
Server version: 5.7.25 OceanBase 3.1.2 (r10000392021123010-d4ace121deae5b81d8f0b40afbc4c02705b7fc1d) (Built Dec 30 2021 02:47:29)

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [oceanbase]> alter system set memory_chunk_cache_size ='0';
Query OK, 0 rows affected (0.03 sec)

MySQL [oceanbase]> alter system set trx_try_wait_lock_timeout='0ms';
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set large_query_threshold='1s';
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set trace_log_slow_query_watermark='500ms';
Query OK, 0 rows affected (0.01 sec)

MySQL [oceanbase]> alter system set syslog_io_bandwidth_limit='30m';
Query OK, 0 rows affected (0.01 sec)

MySQL [oceanbase]> alter system set enable_async_syslog=true;
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set merger_warm_up_duration_time='0';
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set merger_switch_leader_duration_time='0';
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set large_query_worker_percentage=10;
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set builtin_db_data_verify_cycle = 0;
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set enable_merge_by_turn = False;
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set minor_merge_concurrency=30;
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set memory_limit_percentage = 85;
Query OK, 0 rows affected (0.01 sec)

MySQL [oceanbase]> alter system set memstore_limit_percentage = 80;
Query OK, 0 rows affected (0.01 sec)

MySQL [oceanbase]> alter system set freeze_trigger_percentage = 30;
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set enable_syslog_recycle='True';
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set max_syslog_file_count=100;
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set minor_freeze_times=500;
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set minor_compact_trigger=5;
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set max_kept_major_version_number=1;
Query OK, 0 rows affected (0.01 sec)

MySQL [oceanbase]> alter system set sys_bkgd_io_high_percentage = 90;
Query OK, 0 rows affected (0.01 sec)

MySQL [oceanbase]> alter system set sys_bkgd_io_low_percentage = 70;
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set merge_thread_count  = 45;
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set merge_stat_sampling_ratio = 1;
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set writing_throttling_trigger_percentage=75 tenant=tpcc;
Query OK, 0 rows affected (0.01 sec)

MySQL [oceanbase]> alter system set writing_throttling_maximum_duration='15m';
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> set global ob_plan_cache_percentage=20;
Query OK, 0 rows affected (0.01 sec)

MySQL [oceanbase]> alter system set enable_perf_event='false';
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set use_large_pages='true';
Query OK, 0 rows affected (0.01 sec)

MySQL [oceanbase]> alter system set micro_block_merge_verify_level=0;
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set builtin_db_data_verify_cycle=20;
Query OK, 0 rows affected (0.02 sec)

MySQL [oceanbase]> alter system set net_thread_count=4;
Query OK, 0 rows affected (0.02 sec)
OceanBase 数据库导数据前业务租户调优

请在具体用户下执行。在测试用户下执行 obclient -h$host_ip -P$host_port -u$user@$tenant -p$password -A 命令。

数据库下租户设置，防止事务超时
set global ob_query_timeout=36000000000;
set global ob_trx_timeout=36000000000;
set global max_allowed_packet=67108864;
set global ob_sql_work_area_percentage=100;
/*
parallel_max_servers推荐设置为测试租户分配的resource unit cpu数的10倍
如测试租户使用的unit配置为：create resource unit $unit_name max_cpu 26
那么该值设置为260
parallel_server_target推荐设置为parallel_max_servers * 机器数*0.8
那么该值为260*3*0.8=624
*/
set global parallel_max_servers=260;
set global parallel_servers_target=624;

执行调优参数

[admin@localhost ~]$ obclient -h10.144.2.106 -ubenchmarksql@tpcc  -P2883 -pbenchmarksql -c -A oceanbase
Welcome to the OceanBase.  Commands end with ; or \g.
Your MySQL connection id is 16
Server version: 5.6.25 OceanBase 3.1.2 (r10000392021123010-d4ace121deae5b81d8f0b40afbc4c02705b7fc1d) (Built Dec 30 2021 02:47:29)

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [oceanbase]> set global ob_query_timeout=36000000000;
Query OK, 0 rows affected (0.012 sec)

MySQL [oceanbase]> set global ob_trx_timeout=36000000000;
Query OK, 0 rows affected (0.102 sec)

MySQL [oceanbase]> set global max_allowed_packet=67108864;
Query OK, 0 rows affected (0.001 sec)

MySQL [oceanbase]> set global ob_sql_work_area_percentage=100;
Query OK, 0 rows affected (0.002 sec)
MySQL [oceanbase]> set global parallel_max_servers=260;
Query OK, 0 rows affected, 1 warning (0.012 sec)

MySQL [oceanbase]> set global parallel_servers_target=624;
Query OK, 0 rows affected (0.012 sec)
调优参数设置完毕请重启集群
obd cluster restart $cluster_name
导数执行

  1. 运行以下命令，初始化环境：

    ./runDatabaseDestroy.sh prop.ob

  2. 运行以下命令，创建表并导入数据：

     ./runDatabaseBuild.sh prop.ob
导数后调优
合并

  1. 执行合并（需要使用sys租户登录）

    Major 合并将当前大版本的 SSTable 和 MemTable 与前一个大版本的全量静态数据进行合并，使存储层统计信息更准确，生成的执行计划更稳定。

    MySQL [(none)]> use oceanbase
Database changed
MySQL [oceanbase]> alter system major freeze;
Query OK, 0 rows affected

  2. 查看合并是否完成

    MySQL [oceanbase]> select name,value from oceanbase.__all_zone where name='frozen_version' or name='last_merged_version';
+---------------------+-------+
| name                | value |
+---------------------+-------+
| frozen_version      |     2 |
| last_merged_version |     2 |
| last_merged_version |     2 |
| last_merged_version |     2 |
| last_merged_version |     2 |
+---------------------+-------+

    frozen_version 和 last_merged_version 的值相等即表示合并完成。

OceanBase 数据库压力测试阶段sys租户调优

请在sys租户下执行。

在系统租户下执行 obclient -h$host_ip -P$host_port -uroot@sys -A 命令。

##如果导入阶段开启了限速需要关闭
alter system set writing_throttling_trigger_percentage=100 tenant=xxx;
alter system set writing_throttling_maximum_duration='1h';
alter system set memstore_limit_percentage = 80; 
alter system set freeze_trigger_percentage = 30; 
alter system set large_query_threshold = '200s';
alter system set trx_try_wait_lock_timeout = '0ms';
alter system set cpu_quota_concurrency = 4;
alter system set minor_warm_up_duration_time = 0;
alter system set minor_freeze_times=500;
alter system set minor_compact_trigger=3;
alter system set sys_bkgd_io_high_percentage = 90;
alter system set sys_bkgd_io_low_percentage = 70;
alter system set minor_merge_concurrency =20;
alter system set builtin_db_data_verify_cycle = 0;
alter system set trace_log_slow_query_watermark = '10s';
alter system set gts_refresh_interval='500us'; 
alter system set server_permanent_offline_time='36000s';
alter system set weak_read_version_refresh_interval=0;
alter system set  _ob_get_gts_ahead_interval = '5ms';
##为频繁空查的宏块建立bloomfilter并缓存，减少磁盘IO和CPU消耗，提升写入性能
alter system set bf_cache_priority = 10;
alter system set user_block_cache_priority=5;
alter system set merge_stat_sampling_ratio = 0;
##close sql audit
alter system set enable_sql_audit=false;
##调整日志级别及保存个数
alter system set syslog_level='PERF';
alter system set max_syslog_file_count=100;
alter system set enable_syslog_recycle='True';
alter system set ob_enable_batched_multi_statement=true tenant=all;
alter system set _cache_wash_interval = '1m';
alter system set plan_cache_evict_interval = '30s';
alter system set enable_one_phase_commit=false;
alter system set enable_monotonic_weak_read = false;
OceanBase 数据库测试阶段业务租户调优

在进行测试TPCC的租户下执行。

在测试用户下执行 obclient -h$host_ip -P$host_port -u$user@$tenant -p$password -A 命令。

alter system set _clog_aggregation_buffer_amount=8;
alter system set _flush_clog_aggregation_buffer_timeout='1ms';

[admin@localhost ~]$ mysql -h10.144.2.111 -uroot@tpcc -P2881 -p -c -A oceanbase
Enter password: 
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 3222798341
Server version: 5.7.25 OceanBase 3.1.2 (r10000392021123010-d4ace121deae5b81d8f0b40afbc4c02705b7fc1d) (Built Dec 30 2021 02:47:29)

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [oceanbase]> alter system set _clog_aggregation_buffer_amount=8;
Query OK, 0 rows affected (0.00 sec)

MySQL [oceanbase]> alter system set _flush_clog_aggregation_buffer_timeout='1ms';
Query OK, 0 rows affected (0.00 sec)

TPCC测试操作执行

执行以下命令，执行压力测试：

./runBenchmark.sh prop.ob

测试结果

  1. 2000仓，200并发

    Term-00, Running Average tpmTOTAL: 742679.46    Current tpmTOTAL: 49075944    Memory Usage: 964MB / 2834MB           
22:50:33,344 [Thread-36] INFO   jTPCC : Term-00, 
22:50:33,344 [Thread-36] INFO   jTPCC : Term-00, 
22:50:33,344 [Thread-36] INFO   jTPCC : Term-00, Measured tpmC (NewOrders) = 334225.02
22:50:33,344 [Thread-36] INFO   jTPCC : Term-00, Measured tpmTOTAL = 742589.64
22:50:33,345 [Thread-36] INFO   jTPCC : Term-00, Session Start     = 2022-01-14 22:40:33
22:50:33,345 [Thread-36] INFO   jTPCC : Term-00, Session End       = 2022-01-14 22:50:33
22:50:33,345 [Thread-36] INFO   jTPCC : Term-00, Transaction Count = 7426997

  2. 2000仓，400并发

    Term-00, Running Average tpmTOTAL: 894273.20    Current tpmTOTAL: 59132196    Memory Usage: 2937MB / 3748MB          
00:46:04,613 [Thread-368] INFO   jTPCC : Term-00, 
00:46:04,614 [Thread-368] INFO   jTPCC : Term-00, 
00:46:04,614 [Thread-368] INFO   jTPCC : Term-00, Measured tpmC (NewOrders) = 402109.83
00:46:04,614 [Thread-368] INFO   jTPCC : Term-00, Measured tpmTOTAL = 894131.49
00:46:04,614 [Thread-368] INFO   jTPCC : Term-00, Session Start     = 2022-01-15 00:36:04
00:46:04,614 [Thread-368] INFO   jTPCC : Term-00, Session End       = 2022-01-15 00:46:04
00:46:04,614 [Thread-368] INFO   jTPCC : Term-00, Transaction Count = 8943132

  3. 2000仓，600并发

    Term-00, Running Average tpmTOTAL: 1036197.84    Current tpmTOTAL: 68482356    Memory Usage: 2370MB / 2662MB          
01:33:52,474 [Thread-449] INFO   jTPCC : Term-00, 
01:33:52,474 [Thread-449] INFO   jTPCC : Term-00, 
01:33:52,474 [Thread-449] INFO   jTPCC : Term-00, Measured tpmC (NewOrders) = 466181.02
01:33:52,474 [Thread-449] INFO   jTPCC : Term-00, Measured tpmTOTAL = 1035911.66
01:33:52,475 [Thread-449] INFO   jTPCC : Term-00, Session Start     = 2022-01-15 01:23:52
01:33:52,475 [Thread-449] INFO   jTPCC : Term-00, Session End       = 2022-01-15 01:33:52
01:33:52,475 [Thread-449] INFO   jTPCC : Term-00, Transaction Count = 10362586

  4. 2000仓，800并发

    02:01:10,202 [Thread-514] INFO   jTPCC : Term-00, 
02:01:10,202 [Thread-514] INFO   jTPCC : Term-00, 
02:01:10,202 [Thread-514] INFO   jTPCC : Term-00, Measured tpmC (NewOrders) = 482945.87
02:01:10,202 [Thread-514] INFO   jTPCC : Term-00, Measured tpmTOTAL = 1073274.03
02:01:10,202 [Thread-514] INFO   jTPCC : Term-00, Session Start     = 2022-01-15 01:51:09
02:01:10,202 [Thread-514] INFO   jTPCC : Term-00, Session End       = 2022-01-15 02:01:10
02:01:10,202 [Thread-514] INFO   jTPCC : Term-00, Transaction Count = 10739018

注意事项

  • 终端数量无效。报错信息如下：

    Invalid number of terminals!

    这是 prop.oceanbase 中设置的 terminals 值不对，需填写 numTerminals <= 0 || numTerminals > 10*numWarehouses 范围内的 terminals 值。

  • 事务超时。报错信息如下：

    Worker 198: ERROR: Transaction is timeout
Worker 192: ERROR: Transaction is timeout

    需增大超时时间，测试租户下执行set global ob_query_timeout=36000000000;set global ob_trx_timeout=36000000000。

  • 修改Obproxy参数，开启二次路由，提高性能

    alter proxyconfig set enable_ob_protocol_v2=True;
alter proxyconfig set enable_reroute=True;  
alter proxyconfig set enable_index_route=True;

  • 关闭SQL审计

    ALTER SYSTEM SET enable_sql_audit = false;

  • 修改关闭性能收集

    alter system set  enable_perf_event=false;
张雨齐
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深入OceanBase性能分析，使用大跃进算法演绎魔术本质
AthlonxpX86的专栏
09-01 1688
深入OceanBase性能分析，使用大跃进算法演绎魔术本质 文章目录深入OceanBase性能分析，使用大跃进算法演绎魔术本质写作背景还原OceanBase的基础性能数据算法一 亩产万斤不是梦，地多人多才是真算法二 砸锅卖铁大练钢，脸盆锅盆一起上 写作背景 最近异数OS MR Lab 项目终于落地，终于在Steam上发布，告一段落，回来写写博文，出于自卷需要（也叫内卷，但我们体制属于举国体制，所以用自卷更贴却），我们这次把目标放在OceanBase上面，当然选他做目标也是因为他的表演漏洞较多，因此给我们了不
oracle使用update用左连接报错_OceanBase 2.2 体验：用JMeter测试OceanBase性能
weixin_39915078的博客
12-18 954
本文介绍使用JMeter测试OceanBase性能的方法。这个方法适用于所有关系数据库(包括分布式的)。测试方法。在前文《分布式数据库选型测试(一)——测试需求》里已经就数据库性能对比测试的方法做过总结，这里再补充一些内容。测试OceanBase集群性能的方法有很多，如sysbench、benchmarksql。不过如果想对比OceanBase数据库跟传统数据库、其他友商分布式数据库产品...
实践练习5：对 OceanBase 做性能测试
qinwen740的博客
03-28 2701
环境准备 机器信息 机器类型 虚拟机 IP 10.201.0.170, 10.201.0.171, 10.201.0.172, 10.201.0.173 网卡名 eth0 OS CentOS Linux release 7.9.2009 CPU 4C 内存 总内存 16G，可用内存 15G 磁盘1 磁盘 /dev/vda 200G 磁盘2 磁盘 /dev/vdb 300G 机器划分 角色 机器 备注 性能测
一文讲透 OceanBase 单机版：架构介绍、部署流程、性能测试、MySQL对比、资源配置等等
最新发布
ActionTech的博客
05-30 912
OceanBase 单机集中式集群（即单机版，后文不再称“单机集中式集群”）是OceanBase 推出的极简数据库架构，区别于分布式集群架构，单机版无多副本和扩缩容能力，适用于开发测试环境及数据安全性要求不高的业务系统。OceanBase v4.1.0 之后，物理备库的产品形态变更为租户级主备，即主或备的角色信息属于租户，分为主租户和备租户，集群不再有主备角色的概念，而只是承载租户的容器。本节适用于集群做 Sysbench 测试前，对单机版集群的资源规格和集群配置等做一轮巡检，已提供更好的性能表现。
压测工具BenchmarkSQL对OceanBase开源版3.1.2性能测试调优
shunwahma的博客
04-15 2143
作者：马顺华 从事运维管理工作多年，目前就职于六棱镜（杭州）科技有限公司，熟悉运维自动化、OceanBase部署运维、MySQL 运维以及各种云平台技术和产品。并已获得OceanBase认证OBCA、OBCP证书。 前言 网络上测试OceanBase性能的方法有很多，不过如果想对比OceanBase数据库跟统数据库、其它分布式数据库产品的性能差异，还需要找到一个能适用彼此的测试方案。benchmarksql内嵌了TPC-C测试脚本，也支持很多数据库，如PostgreSQL、Oracle和Mysql
OceanBase数据库实践入门——性能测试建议
chikuai9995的博客
06-19 1394
概述 本文主要分享针对想压测OceanBase时需要了解的一些技术原理。这些建议可以帮助用户对OceanBase做一些调优，再结合测试程序快速找到适合业务的最佳性能。由于OceanBase自身参数很多、部署形态也比较灵活，这里并没有给出具体步骤。 数据库读写特点 压测的本质就是对一个...
OceanBase实践练习一
03-15
OceanBase实践练习一 OceanBase是一个分布式关系数据库管理系统，它提供了高性能、可扩展性强和高可用性的数据库解决方案。下面是一个OceanBase实践练习的一些重要知识点总结： 1.OceanBase集群部署 OceanBase...
OceanBase实践练习二
03-15
OceanBase 实践练习二 OceanBase 是一个开源的分布式关系型数据库管理系统，提供了高性能、可扩展性强的数据存储解决方案。以下是 OceanBase 实践练习二的详细知识点总结： 1. OceanBase 部署环境数据清理 在部署...
OceanBase实践练习六
03-15
本实践练习将带你深入理解OceanBase的运行机制，通过配置BenchmarkSQL进行性能测试，解析执行计划，分析SQL性能。 1. 前言 在开始OceanBase的实践之前，了解其核心概念至关重要。OceanBase采用Paxos协议确保数据...
基于OceanBase的tpcc测试
01-25
OceanBase数据库的TPCC测试对性能的衡量标准是以每秒钟所处理的订单数（tpmC）来衡量。为了防止通过一些取巧的手段来提高性能，TPC-C对每个仓库的tpmC做了一个上限处理，也就是每个仓库最多只有12.86tpmC的限制。 ...
OceanBase实践练习四
03-15
在本实践练习中，我们将探讨如何将MySQL数据库的数据迁移到OceanBase集群。OceanBase是一个分布式数据库系统，设计用于处理大规模的事务处理和分析工作负载。迁移数据至OceanBase可以帮助提升系统的扩展性和性能。 ...
oceanbase mysql 测试_蚂蚁金服OceanBase挑战TPCC | 测试流程解析
weixin_36108036的博客
02-05 484
原标题：蚂蚁金服OceanBase挑战TPCC | 测试流程解析蚂蚁金服自研数据库 OceanBase 登顶 TPC-C 引起业内广泛关注，为了更清楚的展示其中的技术细节，我们特意邀请 OceanBase 核心研发人员对本次测试进行技术解读，共包括五篇：2)OceanBase如何做TPC-C测试3)TPC-C基准测试之SQL优化4)TPC-C基准测试之数据库事务引擎的挑战5)TPC-C基准测试之存...
Sysbench对OceanBase开源版3.1.3数据库的OLTP性能测试
shunwahma的博客
04-16 1718
Sysbench对OceanBase开源版3.1.3数据库的OLTP性能测试，本文介绍如何使用 Sysbench 测试对OceanBase数据库的OLTP性能进行测试。包括安装sysbench，在本文中使用2种方式，对OceanBase运行sysbench测试； 通过OBD test命令一键进行sysbench测试； 基于官方sysbench工具进行手动进行测试，并对OceanBase做一些调优，再结合测试程序快速找到适合的最佳性能。
Oceanbase 扩容TPC-H测试
xiyodb的博客
06-26 1307
自身集群扩容+租户资源扩容+租户资源扩容tpc-h测试
OceanBase 4.0 解读：分布式查询性能提升，我们是如何思考的？
OceanBase分布式数据库的博客
11-25 1110
相比于 OceanBase 3.x 版本，OceanBase 4.0 实现了全新的分布式代价模型和分布式查询优化框架、开发了一套非常完善的并行下压技术，开启了自适应技术的开发。这些技术的开发驱动一方面来自于我们对客户需求的理解，另一方面也来自于我们自己对分布式系统的理解。
oceanbase mysql 测试_OceanBase1.0的最新性能测试结果
weixin_42110038的博客
02-05 406
测试架构测试OceanBase集群由3台服务器组成，数据表有3个副本，副本之间通过Paxos协议进行日志同步，确保任何单机故障不丢失数据；另有3台相同配置的服务器作为测试客户端。在测试过程中，OceanBase集群中只有一台服务器节点(上图中的机器A)对外提供读、写服务，其他两个节点不对外提供服务，仅进行日志同步和应答(Paxos协议)，以满足高可用的需求。3个测试客户端只连接集群中对外提供服务的...
OceanBase架构剖析（读写事务、单点性能、SSD支持、数据正确性、分层结构）
weixin_40674835的博客
02-11 1189
点击有惊喜 读写事务 在OceanBase系统中，用户的读写请求，即读写事务，都发给MergeServer。MergeServer解析这些读写事务的内容，例如词法和语法分析、schcma检查等。对于只读事务，由MergeScrver 发给相应的ChunkServer分别执行后再合并每个ChunkServer的执行结果；对于读写事务，由MergeServer进行预处理后，
蚂蚁金服 OceanBase 性能远超 Oracle 100%？告诉你真相
wujiandao的专栏
10-05 2746
所有的网站，这两天都在报告这件大事： 中国技术又得世界第一，中国自研数据库OceanBase拿下世界第一！性能远超老牌数据库Oracle100%! 为什么说这是件大事？ 如果说因为我们是玩数据库的，就说它是大事，那未免有点太高看自己。2006年，国务院宣布的《国度中恒久科学和技能成长筹划纲领(2006-2020年)》首提“核高基”观念，个中“基”指的就是以数据库...
OceanBase 4.1 全面测评及部署流程，看这篇就够了【建议收藏】
ActionTech的博客
06-07 1439
OceanBase 在 QPS、读写延迟、存储压缩方面均不错（生产 MySQL 一监控场景库空间：OceanBase 空间为 6:1 单副本，660G:110G 单副本）；高 TPS 场景可以适当调整租户内存使用参数、转储参数；OceanBase 不同租户资源隔离（IOPS，内存，CPU）更好适配多业务场景；OBD 白屏部署方式更加高效、直观，OCP 管理平台功能全面；业务应用方使用 OceanBase 比 MySQL 有点区别（大表创建分区表，用户名需带租户名等）。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值