logstash kafka mysql_logstash_output_kafka:Mysql同步Kafka深刻详解

0、题记

实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。java

而mysql写入kafka的选型方案有：

方案一：logstash_output_kafka 插件。

方案二：kafka_connector。

方案三：debezium 插件。

方案四：flume。

方案五：其余相似方案。

其中：debezium和flume是基于mysql binlog实现的。mysql

若是须要同步历史全量数据+实时更新数据，建议使用logstash。redis

一、logstash同步原理

经常使用的logstash的插件是：logstash_input_jdbc实现关系型数据库到Elasticsearch等的同步。sql

实际上，核心logstash的同步原理的掌握，有助于你们理解相似的各类库之间的同步。数据库

logstash核心原理：输入生成事件，过滤器修改它们，输出将它们发送到其余地方。json

logstash核心三部分组成：input、filter、output。bootstrap