clickhouse高级功能之MaterializeMySQL详解

clickhouse 20.8将新增 MaterializeMySQL引擎 ,可通过binlog日志实时物化mysql数据，极大提升了数仓的查询性能和数据同步的时效性；原有mysql中承担的数据分析工作 可交由clickhouse去做，这么做可显著降低线上mysql的负载，从此OLTP与OLAP业务实现完美融合

知识列表

介绍

目前 MaterializeMySQL database engine 还不支持表级别的同步操作，需要将整个mysql database映射到clickhouse，映射过来的库表会自动创建为ReplacingMergeTree表engine。

MaterializeMySQL 支持全量和增量同步，首次创建数据库引擎时进行一次全量复制，之后通过监控binlog变化进行增量数据同步；该引擎支持mysql 5.6/5.7/8.0版本数据库，兼容insert，update，delete，alter，create，drop，truncate等大部分DDL操作。

演示

• 修改my.cnf开启mysql binlog模式

 

log-bin=/data/logs/mysql/mysql-bin.log  # 指定binlog日志存储位置
binlog_format=ROW  # 这里一定是row格式
server-id=1  

如果clickhouse使用的是20.8 prestable之后发布的版本，那么还需要配置开启GTID模式

 

gtid-mode=on
enforce-gtid-consistency=1    # 设置为主从强一致性
log-slave-updates=1   # 记录日志

• 首先在mysql中先创建scene表

 

CREATE TABLE `scene` (
  `id` int NOT NULL AUTO_INCREMENT,
  `code` int NOT NULL,
  `title` text DEFAULT NULL,
  `updatetime` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),   ##主键要设置为not null，否则会报错
  KEY `idx_code` (`code`)   ##索引键也要设置为not null，否则会报错
) ENGINE=InnoDB default charset=Latin1;

• 登陆clickhouse客户端，开启mysql物化引擎

 

SET allow_experimental_database_materialize_mysql = 1
# 因为该功能目前还处于实验阶段，在使用之前需要开启

• 创建一个复制管道

 

CREATE DATABASE scene_mms
ENGINE