4.Canal-Canal性能测试

最近项目需要需要变更数据，项目的数据链条Mysql(binlog)-->Canal-->RocketMq-->ES。由于以前生产环境出现Canal消费不及时导致堵塞发生故障，故本次在测试环境上测试Canal性能。本次压测的目的：第一个目的：测试出Canal的吞吐量，为生产环境数据切割做参考，第二个目的：找到导致Canal性能问题的原因，为后续的优化及项目架构做准备。

一、硬件配置

硬件环境

Canal节点环境	CPU	内存	磁盘读写速度
vm-lw-basic-mdata-canal-t01	4核	8G
vm-lw-basic-mdata-canal-t02	4核	8G
vm-lw-basic-mdata-client	8核	8G

二、Canal配置

Canal是否优化	参数名称	参数说明	参数修改值
默认参数配置	目前我公司使用的配置都是默认配置
参数优化后配置

三、数据压测方式

Canal是否优化	压测数据规模	dump进程堵塞	sink进程阻塞	eventStore存储	Cpu占比	内存	TPS	数据同步延时	消息中间件
未优化	15w	100%-19分钟	100%-19分钟	1000个	5%内	70M	200	21分钟	无消息堆积
	20w	100%-58分钟	100%-58分钟	1300个	5%内	70M	200	55分钟	无消息堆积
参数优化后

默认参数压测结果

canal dump、sink sore线程模型是单线程默认，如果有持续不断的任务线程基本就处理阻塞状态。

 

四、测试过程中Canal binlog日志堵塞清理方案

方案一、Canal停机+删除ZK节点方式 [测试环境]

1、/home/admin/middleware/canal/bin/ 、 /home/admin/middleware/canal_new/bin
2、清理下/home/admin/middleware/canal_new/conf/tms_0  h2.mv.db
3、先使用命令关闭Canal：sh bin/stop.sh
4、删除ZK节点： /otter/canal/destinations/tms_0下的所有节点 [不同项目不通]
5、在使用命令开启Canal：sh bin/startup.sh  
6、10.213.3.124&  ./bin/webservices_ctl_spring_boot.sh start

方案二、修改ZK偏移量办法

未试验待更新

 

 

参考文档

• Canal官方文档