MysqlsMom: 同步mysql数据到elasticsearch的利器

把Mysql的数据同步到Elasticsearch是个很常见的需求，但在Github里找到的同步工具用起来或多或少都有些别扭。
例如：某记录内容为”aaa|bbb|ccc”，将其按|分割成数组同步到es，这样的简单任务都难以实现，再加上配置繁琐，文档语焉不详…
所以我写了个同步工具MysqlsMom：力求用最简单的配置完成复杂的同步任务。目前除了我所在的部门，也有越来越多的互联网公司在生产环境中使用该工具了。
欢迎各位大佬进行试用并提出意见，任何建议、鼓励、批评都受到欢迎。
github: https://github.com/m358807551/mysqlsmom

简介：同步 Mysql 数据到 elasticsearch 的工具；
QQ、微信：358807551

特点

1. 纯 Python 编写；
2. 支持基于 sql 语句的全量同步，基于 binlog 的增量同步，基于更新字段的增量同步三种同步方式；
3. 全量更新只占用少量内存；支持通过sql语句同步数据；
4. 增量更新自动断点续传；
5. 取自 Mysql 的数据可经过一系列自定义函数的处理后再同步至 Elasticsearch；
6. 能用非常简单的配置完成复杂的同步任务；

环境

• *python*2.7；
• 增量同步需开启 redis；
• 分析 binlog 的增量同步需要 Mysql 开启 binlog（binlog-format=row）；

快速开始

全量同步MySql数据到es

1. clone 项目到本地；

2. 安装依赖；

   cd mysqlsmom
   pip install -r requirements.txt

   默认支持 elasticsearch-2.4版本，支持其它版本请运行（将5.4换成需要的elasticsearch版本）

   pip install --upgrade elasticsearch==5.4

3. 编辑 ./config/example_init.py，按注释提示修改配置；

   
   # coding=utf-8
   
   
   STREAM = "INIT"
   
   
   # 修改数据库连接
   
   CONNECTION = {
      'host': '127.0.0.1',
      'port': 3306,
      'user': 'root',
      'passwd': ''
   }
   
   
   # 修改elasticsearch节点
   
   NODES = [{
       "host": "127.0.0.1", "port": 9200}]
   
   TASKS = [
      {
          "stream": {
              "database": "test_db",  # 在此数据库执行sql语句
              "sql": "select * from person"  # 将该sql语句选中的数据同步到 elasticsearch
          },
          "jobs": [
              {
                  "actions": ["insert", "update"],
                  "pipeline": [
                      {
       "set_id": {
       "field": "id"}}  # 默认设置 id字段的值 为elasticsearch中的文档id
                  ],
                  "dest": {
                      "es": {
                          "action": "upsert",
                          "index": "test_index",   # 设置 index
                          "type": "test",          # 设置 type
                          "nodes": NODES
                      }
                  }
              }
          ]
      }
   ]

4. 运行

   cd mysqlsmom
   python mysqlsmom.py ./config/example_init.py

   等待同步完成即可；

分析 binlog 的增量同步

1. <