python2实现数据库表定时全量同步sftp

python2实现数据库表定时全量同步sftp

需求

周边系统需要通过sftp接口，将本系统数据库的8张表吐给sftp，文件名为txt,提供的字段用#号分隔（逗号存在分隔不开的情况），8张表采用全量每天同步。

环境

操作系统centos7.9
自带的python2.7.5，
python2存在缺少MySqldb、paramiko模块情况，参考上两篇博客进行模块安装

脚本编写

本地环境编写脚本auto_table_up_sftp_v2.py代码如下

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import MySQLdb
import paramiko
from datetime import datetime
import os

# MySQL数据库连接信息
db_host = '192.168.2.206'
db_user = 'root'
db_password = 'ze1bw0,7E[9V'
db_name = 'mysql'
table_list = ['user','db','event',]

#生成的文件列表信息
file_list = []

#创建生成文件的目录
directory = './AuditToPass'
# 检查目录是否存在，如果不存在则创建
if not os.path.exists(directory):
    os.makedirs(directory)

# SFTP连接信息
sftp_host = '192.168.2.139'
sftp_user = 'ynsftp'
sftp_password = '1'
sftp_directory = './'

# 获取当前日期
current_date = datetime.now().strftime('%Y-%m-%d')


# 连接MySQL数据库
conn = MySQLdb.connect(host=db_host, user=db_user, passwd=db_password, db=db_name)
cursor = conn.cursor()

for table_name in table_list:
	# 从MySQL数据库中读取数据
	query = "SELECT * FROM {}".format(table_name)
	cursor.execute(query)
	rows = cursor.fetchall()
	
	# 将数据写入到txt文件
	txt_filename = "{}{}.txt".format(table_name,current_date)
	with open('./AuditToPass/' + txt_filename, 'w') as file:
		for row in rows:
			file.write('#'.join(str(col) for col in row) + '\n')
	print('生成文件{}成功'.format(txt_filename))
	file_list.append(txt_filename)
	print('{}添加到待上传文件列表成功'.format(txt_filename))
# 关闭MySQL连接
cursor.close()
conn.close()

for file_name in file_list:
	# 上传txt文件到SFTP目录
	transport = paramiko.Transport((sftp_host, 22))
	transport.connect(username=sftp_user, password=sftp_password)
	sftp = paramiko.SFTPClient.from_transport(transport)
	sftp.put('./AuditToPass/' + file_name, sftp_directory + file_name)
	print('上传文件{}成功'.format(file_name))

# 关闭SFTP连接
sftp.close()
transport.close()

#清理本地文件
print('开始清理本地的文件列表{}'.format(file_list))
for file_name1 in file_list:
	os.remove('./AuditToPass/' + file_name1)
	print('清理本地文件{}成功'.format(file_name1))

创建定时任务

[root@localhost ~]# crontab -l
10 16 * * * python /root/auto_table_up_sftp/auto_table_up_sftp_v2.py >> /root/auto_table_up_sftp/auto_table_up_sftp.log

实现结果如下