python如何批量导出数据_【Python】批量导出数据并处理——第一弹

本文介绍了如何使用Python自动化处理批量数据导出任务,包括通过数据库设置七个人的角色权限,发送接口请求获取文件,以及文件的下载、解压、重命名和分类。示例代码中涉及到了pymysql、requests和configparser等库的使用。
摘要由CSDN通过智能技术生成

惯例还是先交代下背景:最近因为工作需要,同事需要一批数据,每次7天7个人所以就是49个文件,虽然数据条数不多,但是处理起来比较麻烦,首先需要设置七个人不同的角色权限——通过接口发送请求,得到存在服务器中的49个文件——下载文件到本地——因为文件是已压缩包形式存在的,所以下载下来后还需要解压、分类、打包后再次发送,预想将上述的步骤全通过代码来实现主要可以分以下几部分:

通过数据库设置七个人的角色权限

再通过接口发送请求(1、2是本文所实现的功能)

下载文件到本地

文件批量解压

根据解压后的文件中的内容重命名文件

将重命名后的文件分类放到不同的文件夹中

再将不同的文件夹打包(4~7完成了一部分,但有些问题一直没解决,头疼中。。。。)

通过微信将压缩包发给需要的人(待定,或者是使用邮件发送?)

现在设想的就分这么多步骤,需要使用到的库涵盖了数据库操作、发送请求、下载文件(连接服务器)、文件的解压缩、文件的读取、重命名以及发送微信文件或邮件,可以说相当全面了,全部完成后肯定会对自己的水平提升有很大帮助。好了,背景交代完毕,上代码!(PS. 其实批量发送接口请求这部分功能之前已经通过Jmeter或SoapUI实现了,此次算是通过第三种方法实现一下吧!)

1、首先来看下实现该部分功能的文件结构吧!

2、数据库操作相关,用到的库是pymysql,代码如下:

# -*- coding:UTF-8 -*-

import pymysql</

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值