Streamsets（五）SS读取binlog数据并存储到本地

1、配置MySQL binlog

1.1、修改mysql配置

首先查看一下当前MySQL是否开启了binlog

mysql -u root -p -e "show global variables like '%log_bin%';"

 

修改/etc/my.inf文件，在mysqld下面加上以下参数，需要注意log_bin所配置的目录是不是已经存在并且目录权限是mysql:mysql如果不是记得手动去创建目录并修改权限，否则后面mysql重启会因为找不到目录而启动失败

server-id=1
log_bin=/var/log/mysql/mysql-bin.log
expire_logs_days=30
max_binlog_size=100M
binlog_format=ROW

 

 

1.2、重启服务

重启一下mysql服务

sudo systemctl restart mysqld.service

验证一下

mysql -u root -p -e "show global variables like '%log_bin%';"

 

 

2、配置pipeline

2.1、MySQL Binary Log

需要为MySQL binary log添加额外的依赖包mysql的驱动包，添加好后要重启SS才能生效

下面开始正式配置MySQL binary log 的Configuration

注意这里的Start From Beginning和Initial offset指的是从binlog的什么位置开始解析数据，如果选择Start From Beginning就是从整个binlog文件的开始位置进行解析，如果指定Initial offset的话必须给定一个正确的值，可以通过在mysql数据库中执行命令得到

show master status;

 

 

 

在Advanced中可以配置需要包含和过滤的数据表，这里只获取test数据库的test表数据