python导入数据库_python 导入数据库的脚本

该脚本针对批量导入数据sql文件,data目录存放所要导入的sql文件,list.txt存放要导入的列表信息。

脚本内容如下:#!/usr/bin/env python

# -*- coding:utf-8 -*-

import os, sys, logging, datetime

# 日志文件配置

if not os.path.isdir('logs'):

os.mkdir('logs')

logging.basicConfig(level=logging.INFO,

format='%(asctime)s %(name)-12s %(levelname)-8s %(message)s',

datefmt='%Y-%m-%d %H:%M',

filename='logs/importable.log',

filemode='a')

console = logging.StreamHandler()

console.setLevel(logging.INFO)

formatter = logging.Formatter('%(message)s')

console.setFormatter(formatter)

logging.getLogger('').addHandler(console)

logger = logging.getLogger(__name__)

# 从本地配置文件中读取主机列表信息

def readinfo(confile):

info_list = []

if os.path.isfile(confile):

with open(confile, 'r+') as f:

for line in f.readlines():

if not line.startswith("#"):

dict = {}

dict['id'] = line.split()[0]

dict['host'] = line.split()[1]

dict['name'] = line.split()[2]

info_list.append(dict)

return info_list

else:

logger.error(u"本地配置文件%s不存在!" % confile)

sys.exit(1)

def readsqlfile(data):

sql_list = []

# 判断本地的sql文件是否存在目录是否存在。

if os.path.isdir(data):

for sql_file in os.listdir(data):

if sql_file:

sql_list.append(os.path.join(data,sql_file))

else:

logger.error(u"本地%s目录中没有要导入的sql文件!"%data)

else:

logger.error(u"%s 不是一个目录。"%data)

return sql_list

# 循环info_list和sql_list将sql导入每一个服务器

def importhost(info_list, sql_list):

succ_list = []

fail_list = []

for ser in info_list:

for sql_file in sql_list:

cmd = "%s/mysql -u%s -p%s -h'%s' %s < %s" % (mysql_path, mysql_user, mysql_passwd, ser['host'], ser['name'] ,sql_file)

status = os.system(cmd)

if status == 0:

msg = "%s -- %s -- %s 导入sql:%s 完毕!"%(ser['id'],ser['host'],ser['name'],sql_file)

succ_list.append(msg)

logger.info(msg)

else:

msg = "%s -- %s -- %s 导入sql:%s 失败!" % (ser['id'], ser['host'], ser['name'], sql_file)

fail_list.append(msg)

logger.error(msg)

sys.exit(1)

return succ_list,fail_list

def yesorno(confile,data):

print "数据库列表如下:"

info_list = readinfo(confile)

for ser in info_list:

print "%s --- %s ---- %s"%(ser['id'],ser['host'],ser['name'])

iput = raw_input("你是否要导入sql文件 %s,请输入yes or no:" % (os.listdir(data)))

while True:

if iput.lower() in ['y','yes']:

print "你选择了继续执行程序动作!"

break

elif iput.lower() in ['n','no']:

print "你选择了退出程序动作!"

sys.exit(1)

else:

print "你输入了非法的字符,脚本并未执行导入sql文件的任何动作,程序即将退出。"

sys.exit(1)

if __name__ == '__main__':

# 基本信息配置变量

data = r'data' # 存放本地sql文件的目录

confile = 'list.txt' # 存放服务器列表信息,格式如: id  host dbname : 1 192.168.2.20 game_name_cn1

# MySQL变量

mysql_path = '/usr/local/mysql/bin'

mysql_user = 'root'

mysql_passwd = 'xirexrt,mf'

yesorno(confile,data)

startime = datetime.datetime.now()

sql_list = readsqlfile(data)

info_list = readinfo(confile)

succ,fail= importhost(info_list,sql_list)

logger.info(u'总共执行成功%s条. \r\n 总共执行失败%s条.'%(len(succ), len(fail)))

endtime = datetime.datetime.now()

logger.info(u"\r\nTotal time: %s ms" % ((endtime - startime).microseconds / 1000))

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python是一种简单易学的高级编程语言,广泛应用于数据分析、机器学习、Web开发等领域。Excel是一种电子表格软件,可用于存储、计算和分析数据。MySQL是一种流行的开源关系型数据库,可用于存储和查询数据。本文将介绍如何使用Python将Excel表格导入到MySQL数据库中。 1. 安装必要的库 在Python中,我们可以使用pandas库读取和处理Excel表格,使用mysql-connector库连接和操作MySQL数据库。在终端或命令行中运行以下命令安装这两个库: pip install pandas pip install mysql-connector-python 2. 准备Excel表格 在将Excel表格导入到MySQL数据库之前,需要先准备好表格。通常情况下,我们需要保证Excel表格中的列名与MySQL数据库中的表格列名相同,并且Excel表格中的数据类型与MySQL数据库中的列类型相匹配。 3. 连接MySQL数据库 使用mysql-connector库可以方便地连接MySQL数据库。首先,在Python脚本导入这个库,然后使用连接参数创建一个连接对象。 import mysql.connector mydb = mysql.connector.connect( host="localhost", user="yourusername", password="yourpassword", database="mydatabase" ) 4. 读取Excel表格 使用pandas库可以很容易地读取Excel表格并将其转换为Python中的DataFrame对象。在读取Excel表格时,我们可以指定表格中的哪些列需要被读取。 import pandas as pd df = pd.read_excel('data.xlsx', usecols=['name', 'age', 'gender']) 5. 将数据插入到MySQL数据库 在将Excel表格数据插入到MySQL数据库之前,需要先创建一个表格,并确保其列名和列类型与Excel表格数据一致。然后,可以使用pandas库将DataFrame对象转换为MySQL数据库支持的格式,并使用MySQL查询将数据插入到表格中。 mycursor = mydb.cursor() mycursor.execute("CREATE TABLE customers (name VARCHAR(255), age INT, gender VARCHAR(255))") sql = "INSERT INTO customers (name, age, gender) VALUES (%s, %s, %s)" val = df.values.tolist() mycursor.executemany(sql, val) 做完以上步骤后,Excel表格的数据就被成功导入到了MySQL数据库中。 总结 通过本文的介绍,我们了解了如何使用Python将Excel表格导入到MySQL数据库中。这种方法可以方便地将大量数据导入到MySQL数据库,为数据分析和处理提供了便利。当然,根据不同的情况,我们还可以使用其他库和方法来实现Excel和MySQL之间的数据交互。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值