Python迁移MySQL数据到MongoDB和Elasticsearch

在工作中经常遇到一些需要批量导入数据到NoSql中。
比如我们上线一个新的功能，需要把mysql的一些数据批量导入到Elaticsearch或者mongodb中。这里使用Python代码简洁，方便高效。
根据需求变更参数，sql。执行以下python脚本即可。

import pymysql, json
import pymongo
from elasticsearch import Elasticsearch, helpers


class DB:
    def __init__(self, host='localhost', port=3306, db='', user='', passwd='', charset='utf8'):
        # 建立连接
        self.conn = pymysql.connect(host=host, port=port, db=db, user=user, passwd=passwd, charset=charset)
        # 创建游标，操作设置为字典类型
        self.cur = self.conn.cursor(cursor=pymysql.cursors.DictCursor)

    def __enter__(self):
        # 返回游标
        return self.cur

    def __exit__(self, exc_type, exc_val, exc_tb):
        # 提交数据库并执行
        self.conn.commit()
        # 关闭游标
        self.cur.close()
        # 关闭数据库连接
        self.conn.close()


es = Elasticsearch(hosts=["127.0.0.1:9200"],
                   # 在做任何操作之前，先进行嗅探
                   sniff_on_start=True,
                   # 节点没有响应时，进行刷新，重新连接
                   sniff_on_connection_fail=True,
                   # 每 60 秒刷新一次
                   sniffer_timeout=60
                   )

client = pymongo.MongoClient("mongodb://127.0.0.1:27017/")
db_list = client.list_database_names()
db = client['giftConfig']
collection = db['giftInfo']

if __name__ == '__main__':
    with DB(host='127.0.0.1', user='root', passwd='123456', db='test') as db:
        sql = 'select * from GiftConfig where id < {} order by id desc limit 10'
        maxId = 201
        db.execute(sql.format(maxId))
        while db.rowcount > 0:
            for row in db:
                # 字典格式
                print(row)
                maxId = row['id']
                """
                mysql 数据转存到es
                """
               # es相同id会覆盖
                es.index(index="gift_config_index", doc_type="gift_info", id=maxId, body=row)
                """
                mysql数据转存到mongodb 
                """
                # mongodb 无法保存decimal 需要转换成float 数据库设置id唯一索引 或者row['_id'] = maxId 设置唯一索引 db.giftInfo.createIndex({"id":1},{"unique":true})
                row['unitPrice'] = float(row['unitPrice'])
                try:
                    collection.insert_one(row)
                except:
                    print("mongodb insert error id:%d" %(maxId))
            db.execute(sql.format(maxId))