MYSQL logstash 同步增量数据到ES
最近一段时间,在使用mysql通过logstash-jdbc同步数据到es,但是总是会有一定程度数据丢失。logstash-jdbc无非是通过sql遍历数据表的所有数据,然后同步到es。
对于表里面的所有字段都需要查出来然后同步到es中去。本地测试数据表结构如下: CREATE TABLE `user` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`username` varchar(32) CHARACTER SET utf8 NOT NULL,
`upnum` decimal(20,0) NOT NULL,
`last_update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
PRIMARY KEY (`id`),
KEY `last_update_time` (`last_update_time`)
) ENGINE=InnoDB AUTO_INCREMENT=25094590 DEFAULT CHARSET=latin1;
数据同步脚本分为全量同步与增量同步。
全量同步sql如下: select id,username,upnum,last_update_time from user where id>{$MIN_ID} and id
通过shell的方式在每次执行之前替换脚本里面的最大最小ID,每批查询10万ID数据。
增量同步sql: select id,username,upnum,last_update_time from user where last_update