python基础教程：用python简单实现mysql数据同步到ElasticSearch的教程

最新推荐文章于 2022-08-28 03:49:07 发布

老程序员阿福

最新推荐文章于 2022-08-28 03:49:07 发布

阅读量3k

点赞数

分类专栏： python基础编程文章标签： python 数据库大数据

本文链接：https://blog.csdn.net/haoxun11/article/details/105036677

版权

本文介绍了一种使用Python简单实现从MySQL到ElasticSearch数据同步的方法，适用于对实时性要求较高的场景。通过编写Python脚本，避开MySQL binlog，直接查询MySQL并插入ElasticSearch，确保不遗漏任何数据。文中提供了配置文件和SQL示例，并推荐了一个Python学习资源。

摘要由CSDN通过智能技术生成

今天小编就为大家分享一篇用python简单实现mysql数据同步到ElasticSearch的教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
之前博客有用logstash-input-jdbc同步mysql数据到ElasticSearch，但是由于同步时间最少是一分钟一次，无法满足线上业务，所以只能自己实现一个，但是时间比较紧，所以简单实现一个

思路：

网上有很多思路用什么mysql的binlog功能什么的，但是我对mysql了解实在有限，所以用一个很呆板的办法查询mysql得到数据，再插入es，因为数据量不大，而且10秒间隔同步一次，效率还可以，为了避免服务器之间的时间差和mysql更新和查询产生的时间差，所以在查询更新时间条件时是和上一次同步开始时间比较，这样不管数据多少，更新耗时多少都不会少数据，因为原则是同步不漏掉任何数据，也可以程序多开将时间差和间隔时间差异化，因为用mysql中一个id当作es中的id，也避免了重复数据

使用：

只需要按照escongif.py写配置文件，然后写sql文件，最后直接执行mstes.py就可以了，我这个也是参考logstash-input-jdbc的配置形式

MsToEs

|----esconfig.py（配置文件）

|----mstes.py（同步程序）

|----sql_manage.py（数据库管理）

|----aa.sql（需要用到sql文件）

|----bb.sql（需要用到sql文件）

sql_manage.py:

# -*-coding:utf-8 -*-
__author__ = "ZJL"
from sqlalchemy.pool import QueuePool
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker, scoped_session
import traceback
import esconfig
# 用于不需要回滚和提交的操作
def find(func):
 def wrapper(self, *args, **kwargs):
  try:
   return func(self, *args, **kwargs)
  except Exception as e:
   print(traceback.format_exc())
   print(str(e))
   return traceback.format_exc()
  finally:
   self.session.close()
 return wrapper
class MysqlManager(object):
 def __init__(self):
  mysql_connection_string = esconfig.mysql.get("mysql_connection_string")
  self.engine = create_engi