对于数据分析人员来说,每天需要根据不同需求,提取各种类型数据,但有一些是常规性需求,可以通过固定脚本及定时执行脚本,可以快速的进行数据提取,有效提高工作效率。本文通过Python连接orcle数据库进行数据提取,再通过电脑控制面板自动定时跑数。
实现:
(1)Python连接orcle数据库
可以多条查询语句,同时查询
import pymysql
import pandas as pd
import os
# 连接到MySQL数据库
cnx = pymysql.connect(host='用户名', user='root', passwd='密码', db='数据库名称',port=3306)
cursor = cnx.cursor()
# 执行多个SQL语句,每个语句使用分号分割
sql = '''
SELECT `ID` FROM circuit LIMIT 10;
SELECT `ID,name` FROM student LIMIT 10;
'''
# 将SQL语句按分号分割
statements = sql.split(';')
# 依次执行每个SQL语句
dfs = []
for statement in statements:
if statement.strip():
df = pd.read_sql(statement, con=cnx)
dfs.append(df)
#将按查询语句分成多个文件
for i, df in enumerate(dfs):
filename = os.path.expanduser('C:/Users/rsult{}.xlsx'.format(i))
df.to_csv(filename, index=False)
# 关闭数据库连接
cursor.close()
cnx.close()
(2)电脑控制面板自动执行跑数(实现)
①win+R键 输入control打开控制面板
②打开控制面板->系统和安全->管理工具
③任务计划程序->创建任务
④输入名称(任务的名称)
⑤触发器(脚本执行时间定时)
⑥操作(将Python脚本的路径放到程序或脚本(P)处)
⑦条件(默认)
⑧如果想看自己创建的名称,可看下边的任务名(后续可自行修改)