mysql binlog elk_采集MySQL Binlog

本文介绍如何通过日志服务控制台创建Logtail采集配置来采集MySQL Binlog。

前提条件已在服务器上安装Logtail，详情请参见

说明 目前支持Linux Logtail 0.16.0及以上版本，Window Logtail 1.0.0.8及以上版本。

原理

Logtail内部实现了MySQL Slave节点的交互协议，具体流程如下所示。

Logtail将自己伪装为MySQL Slave节点向MySQL master节点发送dump请求。

MySQL master节点收到dump请求后，会将自身的Binlog实时发送给Logtail。

Logtail对Binlog进行事件解析、过滤、数据解析等操作，并将解析好的数据上传到日志服务。

功能特点

通过Binlog增量采集数据库的更新操作数据，性能优越。支持RDS等MySQL协议的数据库。

支持多种数据库过滤方式。

支持设置Binlog位点。

支持通过Checkpoint机制同步保存状态。

使用限制

不支持MySQL 8.0及以上版本。

MySQL必须开启Binlog，且Binlog必须为row模式(RDS默认已开启Binlog)。 # 查看是否开启Binlog

mysql> show variables like "log_bin";

+---------------+-------+

| Variable_name | Value |

+---------------+-------+

| log_bin | ON |

+---------------+-------+

1 row in set (0.02 sec)

# 查看Binlog类型

mysql> show variables like "binlog_format";

+---------------+-------+

| Variable_name | Value |

+---------------+-------+

| binlog_format | ROW |

+---------------+-------+

1 row in set (0.03 sec)

ServerID唯一，即需要同步的MySQL的Slave ID唯一。

RDS限制

无法直接在RDS服务器上安装Logtail，您需要将Logtail安装在能连通RDS实例的服务器上。

RDS备库不支持Binlog采集，您需要配置RDS主库进行采集。

应用场景

适用于数据量较大且性能要求较高的数据同步场景。

增量订阅数据库改动进行实时查询与分析。

数据库操作审计。

使用日志服务对数据库更新信息进行自定义查询分析、可视化、对接下游流计算、导入MaxCompute离线计算、导入OSS长期存储等操作。

注意事项

建议您适当放开对Logtail的资源限制以应对流量突增等情况，避免Logtail因为资源超限被强制重启，对您的数据造成不必要的风险。

您可以通过/usr/local/ilogtail/ilogtail_config.json文件修改相关参数，详情请参见

如下示例表示将CPU的资源限制放宽到双核，将内存资源的限制放宽到2048MB。 {

...

"cpu_usage_limit":2,

"mem_usage_limit":2048,

...

}

数据可靠性

建议您启用MySQL服务器的全局事务ID(GTID)功能，并将Logtail升级到0.16.15及以上版本以保证数据可靠性，避免因主备切换造成的数据重复采集。

数据漏采集：Logtail与MySQL服务器之间的网络长时间中断时，可能会产生数据漏采集情况。

如果Logtail和MySQL master节点之间的网络发生中断，MySQL master节点仍会不断地产生新的Binlog数据并且回收旧的Binlog数据。当网络恢复，Logtail与MySQL

master节点重连成功后，Logtail会使用自身的checkpoint向MySQL master节点请求更多的Binlog数据。但由于长时间的网络中断，它所需要的数据很可能已经被回收，这时会触发Logtail的异常恢复机制。