今天有个任务,将服务器上MySQL中的100张表一亿条数据数据迁移到es中,
因为MySQL和es都是在生产环境中的,不敢乱动啊,万一搞错了就完蛋了,
我只能在本地测试,第一个要解决的问题就是,模拟出MySQL的具有相同表结构的100张表
好在表的名字是有规律的xxxxx_1、xxxxx_2、xxxxx_3、......xxxxx_100、
刚开始我用手动的方式写了2个,太慢了,于是结合Python搞一搞
这里需要准备两个文件
1、用于保存创建表语句的sql文件(比如create_table.sql)
在sql文件中稍作修改,将创建语句
CREATE TABLE `xxxxx_1` (后面省略,根据自己需求创建
表名中的递增的序号改为一个字符串(在sql文件中需要具有唯一性),比如lihaizhen(这是我的名字,肯定唯一),然后保存。
2、py文件(比如create_table.py)
import pymysql
import time
with open("creat_tables.sql", "r", encoding='utf8')as f:
content = f.read()
sql_str = content
def write_into_mysql():
try:
conn = pymysql.connect(
host,
user,
password,
database,
port,
charset='utf8',
)
cur = conn.cursor()
for i in range(1, 101):
sql = sql_str.replace('lihaizhen', str(i), 1)
cur.execute(sql)
conn.commit()
print('创建第{}张表'.format(i))
except Exception as e:
print(e)
if __name__ == '__main__':
s_t = time.time()
write_into_mysql()
e_t = time.time()
print(e_t - s_t)
ok,大功告成
只需等待一分钟收获100张表