基于阿里云SLS和自建IDC的 MySQL Binlog 日志准实时传输

1. 基本框架

mysql->SLS->Spark Streaming/Flink Streaming(本文不介绍)

2. 步骤

• mysql开启binlog并创建对应账号
  略

• 在MySQL服务器上安装阿里云服务Logtail
  前提：
  CentOS 7.7
  深圳节点
  mysql5.7
  安装：
  使用“深圳节点”对应的安装命令安装logtail（公网）：

  wget http://logtail-release-cn-shenzhen.oss-cn-shenzhen.aliyuncs.com/linux64/logtail.sh -O logtail.sh; chmod 755 logtail.sh; ./logtail.sh install cn-shenzhen-internet
  

• 自定义标识机器组

  • 获取阿里云主账号ID后在服务器上配置用户标识，在/etc/ilogtail/users目录下，创建主账号ID同名文件。

    touch /etc/ilogtail/users/1*************
    

  • 在指定目录下创建user_defined_id文件并填写自定义标识(例如：userdefined_test)

    vim /etc/ilogtail/user_defined_id
    

  • 配置(地址要配置为公网地址： cn-shenzhen.log.aliyuncs.com,否则会心跳失败)

• 在 SLS 控制台添加对应的 project 和 logstore

  • 要在自定义IDC的白名单上添加“cn-shenzhen.log.aliyuncs.com”
  • 要注意本地配置文件(/usr/local/ilogtail/ilogtail_config.json)中的服务地址为公网地址，而不是私网地址

3. 成果

引用：https://help.aliyun.com/document_detail/64953.html?spm=a2c4g.11186623.6.631.eed87955r1z7wL