最近项目需要需要变更数据,项目的数据链条Mysql(binlog)-->Canal-->RocketMq-->ES。由于以前生产环境出现Canal消费不及时导致堵塞发生故障,故本次在测试环境上测试Canal性能。本次压测的目的:第一个目的:测试出Canal的吞吐量,为生产环境数据切割做参考,第二个目的:找到导致Canal性能问题的原因,为后续的优化及项目架构做准备。
一、硬件配置
Canal节点环境 | CPU | 内存 | 磁盘读写速度 |
---|---|---|---|
vm-lw-basic-mdata-canal-t01 | 4核 | 8G | |
vm-lw-basic-mdata-canal-t02 | 4核 | 8G | |
vm-lw-basic-mdata-client | 8核 | 8G |
二、Canal配置
Canal是否优化 | 参数名称 | 参数说明 | 参数修改值 |
---|---|---|---|
默认参数配置 | 目前我公司使用的配置都是默认配置 | ||
参数优化后配置 | |||
三、数据压测方式
Canal是否优化 | 压测数据规模 | dump进程堵塞 | sink进程阻塞 | eventStore存储 | Cpu占比 | 内存 | TPS | 数据同步延时 | 消息中间件 |
---|---|---|---|---|---|---|---|---|---|
未优化 | 15w | 100%-19分钟 | 100%-19分钟 | 1000个 | 5%内 | 70M | 200 | 21分钟 | 无消息堆积 |
20w | 100%-58分钟 | 100%-58分钟 | 1300个 | 5%内 | 70M | 200 | 55分钟 | 无消息堆积 | |
参数优化后 |
默认参数压测结果 |
|
|
|
canal dump、sink sore线程模型是单线程默认,如果有持续不断的任务线程基本就处理阻塞状态。
四、测试过程中Canal binlog日志堵塞清理方案
方案一、Canal停机+删除ZK节点方式 [测试环境]
1、/home/admin/middleware/canal/bin/ 、 /home/admin/middleware/canal_new/bin
2、清理下/home/admin/middleware/canal_new/conf/tms_0 h2.mv.db
3、先使用命令关闭Canal:sh bin/stop.sh
4、删除ZK节点: /otter/canal/destinations/tms_0下的所有节点 [不同项目不通]
5、在使用命令开启Canal:sh bin/startup.sh
6、10.213.3.124& ./bin/webservices_ctl_spring_boot.sh start
方案二、修改ZK偏移量办法
未试验待更新
参考文档