使用Logstash将 Mysql 和 ElasticSearch 数据同步

前言

本文用于记录一次Mysql 同步数据到 ElasticSearch的实操, 以备忘记

按增量同步的概念

Logstash 自带定时任务, 默认每分钟将数据从 Mysql 搬运到 ElasticSearch. 然而 Mysql 中数据量庞大, 实际上可设置为按 Mysql 新增的数据同步到 ElasticSearch

本例采用按 updated_time 同步; 就是说每次同步后, 由 Logstash记录下同步时间 (假设为T0 时刻). 而每次 Mysql 中数据被改写或添加, 都要记录下 updated_time. 那么Logstash 下次同步时, 只筛选 Mysql 记录中, updated_time 在T0之后的

上述做法使得被删除的记录无法同步到 ElasticSearch. 举个例子, 如果 Mysql 有100条记录, 上次同步时间为 T0, 删了一条剩下99条, 下次T1 时间同步时, 99条记录中没有一条是在 T0和 T1之间的. 为了规避此问题, 被同步到 ElasticSearch的表的删除, 应做"假删除", 也就是一个update 操作

对于增量同步概念, 总结以下几点

• 被同步的表需要设置 update_time 或类似字段
• 删除只可做假删除

软件安装和准备

安装 ElasticSearch, ik_analysis 中文分词器, logstash, 注意这三者版本必须相同;

安装 elasticsearch-head-master 插件, 安装JDK8 并配置环境变量, 准备Mysql 数据库驱动 jar包

打开 head插件, 手动创建ES 索引, 本例为 foodie-items

在 logstash的安装目录下, 新建 sync 文件夹, 用于存放同步所需配置文件, cd sync, vim logstash-db-sync.conf

主配置文件 logstash-db-sync.conf

内容如下

input {
    jdbc {
        # 设置 MySql/MariaDB 数据库url以及数据库名称
        jdbc_connection_string => "jdbc:mysql://192.168.209.151:3306/foodie_shop_dev?useUnicode=true&useSSL=true&characterEncoding=UTF-8&autoReconnect=true"
        # 用户名和密码
        jdbc_user => "root"
        jdbc_password => "root"
        # 数据库驱动所在位置，可以是绝对路径或者相对路