PolarDB-X 1.0 RDS节点异常测试

PolarDB-X 标准版：16C64G(1台)

RDS MySQL5.7： 4C8G(4台)

今天做一个简单的测试，PolarDB-X 1.0+RDS x4某个RDS节点出现故障的情况下，对 PolarDB-X的业务有什么影响。

模拟PolarDB-X不间断的请求，通过sysbench向PolarDB插入数据。

[root@sysbench ~]# /usr/local/bin/sysbench --test='/usr/local/share/sysbench/oltp_drds.lua' --oltp_tables_count=1 --oltp-table-size=5000000  --mysql-user=sysbenchuser --mysql-password=sysbenchuser_123 --mysql-table-engine=innodb  --rand-init=on --report-interval=3 --mysql-host=drdsbggamlqgcm2o.drds.aliyuncs.com --mysql-port=3306 --mysql-db=polardb2 --max-time=60 --max-requests=0 --oltp_skip_trx=on --oltp_auto_inc=off --oltp_secondary --oltp_range_size=5 --mysql_table_options='dbpartition by hash(`id`) tbpartition by hash(`id`) tbpartitions 4' --num-threads=20 prepare
sysbench 0.5:  multi-threaded system evaluation benchmark
Creating table 'sbtest1'...
Inserting 5000000 records into 'sbtest1'

重启4台RDS其中的一台

[root@sysbench ~]# /usr/local/bin/sysbench --test='/usr/local/share/sysbench/oltp_drds.lua' --oltp_tables_count=1 --oltp-table-size=5000000  --mysql-user=sysbenchuser --mysql-password=sysbenchuser_123 --mysql-table-engine=innodb  --rand-init=on --report-interval=3 --mysql-host=drdsbggamlqgcm2o.drds.aliyuncs.com --mysql-port=3306 --mysql-db=polardb2 --max-time=60 --max-requests=0 --oltp_skip_trx=on --oltp_auto_inc=off --oltp_secondary --oltp_range_size=5 --mysql_table_options='dbpartition by hash(`id`) tbpartition by hash(`id`) tbpartitions 4' --num-threads=20 prepare
sysbench 0.5:  multi-threaded system evaluation benchmark
Creating table 'sbtest1'...
Inserting 5000000 records into 'sbtest1'
ALERT: mysql_drv_query() returned error 3009 ([11e0de2954c11000][10.80.85.219:3306][polardb2]No operations allowed after statement closed.) for query 'INSERT INTO sbtest1(id, k, c, pad) VALUES(360219,2508382,'60357288705-97807058357-28917849645-95216953181-13339009690-49510359652-53941739640-41775289571-32184417685-83833148125', '22266780851-31637291033-88582474843-53021390515-75090015606'  ),(360220,2509436,'27913675459-98971293685-05905917912-26954418659-42210101267-45925207381-80618667126-93185906886-19664401317-68011586020', '94165418829-36074958620-73391104385-11139100157-16829723550'  ),(360221,3127527,'42485023420-98391490347-15334341945-93012772641-82376976019-50996374339-72609818433-92082814024-17794097817-19338687851', '84718353003-85557245350-01882085100-47221625405-72481820091'  ),(360222,2521403,'27270239605-93465505641-86865815556-41329565784-76874105211-14521533656-33482537926-27067570288-84697075991-23304426216', '38280085529-71447245809-15311392890-93422666978-63867254104'  ),(360223,2492096,'19890966478-79407151647-83024723092-04727321266-81763804775-58186140130-75145460123-57353194469-70293221940-45834436148', '73007656159-35059963388-31499910636-82184400093-44004782418'  ),(360224,2556794,'00279213655-61212250843-07418368801-05052921252-62008401174-47756002787-62618396661-81722205542-62492385489-05059765226', '31279822090-11811816857-99145685311-31490026041-63166482577'  ),(360225,3241132,'66874315872-02706103740-27745007957-25499908580-83785770091-73854421272-25724689683-17375656199-95490899522-78322749758', '11255572393-58001677473-37533438013-52760127735-46450583394'  ),(360226,2502729,'38452709073-26345621692-15178397974-91916692361-06473987816-23341384785-75293206919-94776571225-43162289467-78943881807', '37406096081-60077076881-32272246417-15139043283-68353424753'  ),(360227,2515564,'74106858211-68723431711-01278103731-57877273021-77736997713-20814758010-67794935838-17247242338-79073912445-95884763846', '75097749968-04530842599-84425108732-03989298521-54438341934'  ),(360228,2496492,'15987542354-42019469849-53402310054-58118240365-11310655791-19268633183-31658195295-04231678954-75897366345-25213710041', '60190124797-38787322535-06230011589-95544638892-68069478457'  ),(360229,2478561,'21881261350-77341121295-16142455098-21382826524-02199853110-31613617865-25043373952-59009322261-30256684938-98733594917', '82419929409-29620164790-49702416028-51354466991-65789461339'  ),(360230,2501608,'32666445129-01342126562-51159508566-46314251296-79082429939-84130954430-86433723767-47070944171-63782552821-63600224439', '56422105294-52458134563-58025050497-59297489052-73783248059'  ),(360231,2889535,'76541510663-01921619932-12252742874-03862340071-65840679922-13948252812-91934939460-56959343219-02092554974-98791601317', '36429767563-21229246493-32455018665-66594002075-06830776711'  ),(360232,2502412,'32913955415-92549692768-83808432155-85923623341-02221895730-17584481034-80390511215-48916469880-37008102839-65115342710', '27609259307-74802571545-57039698487-32016964173-10147046203'  ),(360233,2323279,'42804838093-01805185433-43264722336-11180760527-66268627978-55197753543-91143410060-31930327209-38346222509-85553065413', '72392933136-59411453105-08557952245-18458794134-13163589704'  ),(360234,2516780,'36416464342-49280067195-57807742737-97178552395-99926368860-86016058014-52491333439-35458892867-71266128423-37964560824', '20862104708-11661080899-48566979008-00514203768-00945699629'  ),(360235,2492746,'27377541387-36548662424-46804752478-24082859272-90727823685-78030354214-65660614344-35498804341-21234240103-20034723105', '15808415275-07817766309-27535574185-49414206122-12948761072'  ),(360236,2492408,'08084194310-70378045042-76474622279-70162713947-53646193875-24108400339-48637600112-23502225179-99814008456-06220376371', '19219255146-02484187668-59987754862-48333926929-77664735342'  ),(360237,2486874,'95741878036-56830598438-91766209588-69274404304-17878458437-02489206497-24416301776-82311176196-82606652322-39586533317', '88248882306-12845357867-94968421646-57745341878-23919891735'  ),(360238,2499068,'55479915195-65719FATAL: failed to execute function `prepare': /usr/local/share/sysbench/common.lua:84: db_bulk_insert_next() failed

在重启过程中，sysbench prepare数据出现报错。

删除测试表之后，再次sysbench prepare数据恢复正常。

[root@sysbench ~]# /usr/local/bin/sysbench --test='/usr/local/share/sysbench/oltp_drds.lua' --oltp_tables_count=1 --oltp-table-size=5000000  --mysql-user=sysbenchuser --mysql-password=sysbenchuser_123 --mysql-table-engine=innodb  --rand-init=on --report-interval=3 --mysql-host=drdsbggamlqgcm2o.drds.aliyuncs.com --mysql-port=3306 --mysql-db=polardb2 --max-time=60 --max-requests=0 --oltp_skip_trx=on --oltp_auto_inc=off --oltp_secondary --oltp_range_size=5 --mysql_table_options='dbpartition by hash(`id`) tbpartition by hash(`id`) tbpartitions 4' --num-threads=20 prepare
sysbench 0.5:  multi-threaded system evaluation benchmark
Creating table 'sbtest1'...
Inserting 5000000 records into 'sbtest1'
Creating secondary indexes on 'sbtest1'...

当其中一台RDS出现异常时候，对 PolarDB-X的请求都会受到影响。

由于RDS重启机制是：重启备库-->主备切换-->重启当前备库

影响业务的时间也就是主备切换的时间，由于主备切换时间非常快，所以对业务影响相对较小。