python如何提高日常工作效率_用python脚本来提高工作效率

作为一名数据分析师,日报、周报、月报数据一个也不能少。 相应的, 就要在数据库中提取大量的数据, 并处理大量的Excel表格。

自己在工作中使用的最多的就是Hive-SQL查询语句,很多时候,每天的运行的SQL语句只需要改个日期即可。 但如果你每一天都要对每条SQL语句改日期, 然后再把每条SQL语句粘贴到数据库中跑的话, 会特别的费时耗力。 我们可以写个简单的Python脚本, 这样每次运行前只需要改一次日期,就可以将所有SQL语句运行一遍, 大大提高工作效率。

1. 首先, 用Python连接数据库

对于数据库的ip地址,用户名,密码等, 如果不清楚,或数据库连接不上, 需要和开发人员对接

from pyhive import hive

import time

conn = hive.Connection(host='ip地址', port=10000, username='用户名', database = 'default', auth='NOSASL')

cursor = conn.cursor()

2. 设置开始和结束时间

这样只要sql语句不变, 我们跑sql时, 只需要改日期即可。

startdate = '2018-09-01'

enddate = '2018-09-19'

3. 用Python中的format函数将日期传入{}中

python中写sql脚本时, 需要用\来进行换行符的转换, \后面不能有空格。

日期用两个{}来代替, 用format函数将开始日期与结束日期传入

# 提取积分类uv,pv数据

sql_jifenxinxi_an = 'select \

count(distinct user_account) as uv, \

count(1) as pv \

from \

computer_view.client_android_log_view \

where \

hit_date between "{}" and "{}" \

and \

(btn_position like "服务-查询-积分信息%" \

or \

btn_home = "积分-扇形左" \

) \

limit 1000'.format(startdate,enddate)

cursor.execute(sql_jifenxinxi_an)

print(cursor.fetchall())

我们可以按照这个格式写工作中需要运行的多个SQL语句。 这样, 当脚本运行的时候, 我们可以腾出时间来去干其他工作, 等过一段时间,所有的SQL语句都跑完了, 我们再进行统一的整理。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值