python如何批量导出数据_【Python】批量导出数据并处理——第一弹

惯例还是先交代下背景：最近因为工作需要，同事需要一批数据，每次7天7个人所以就是49个文件，虽然数据条数不多，但是处理起来比较麻烦，首先需要设置七个人不同的角色权限——通过接口发送请求，得到存在服务器中的49个文件——下载文件到本地——因为文件是已压缩包形式存在的，所以下载下来后还需要解压、分类、打包后再次发送，预想将上述的步骤全通过代码来实现主要可以分以下几部分：

通过数据库设置七个人的角色权限

再通过接口发送请求(1、2是本文所实现的功能)

下载文件到本地

文件批量解压

根据解压后的文件中的内容重命名文件

将重命名后的文件分类放到不同的文件夹中

再将不同的文件夹打包(4~7完成了一部分，但有些问题一直没解决，头疼中。。。。)

通过微信将压缩包发给需要的人(待定，或者是使用邮件发送？)

现在设想的就分这么多步骤，需要使用到的库涵盖了数据库操作、发送请求、下载文件(连接服务器)、文件的解压缩、文件的读取、重命名以及发送微信文件或邮件，可以说相当全面了，全部完成后肯定会对自己的水平提升有很大帮助。好了，背景交代完毕，上代码！(PS. 其实批量发送接口请求这部分功能之前已经通过Jmeter或SoapUI实现了，此次算是通过第三种方法实现一下吧！)

1、首先来看下实现该部分功能的文件结构吧！

2、数据库操作相关，用到的库是pymysql，代码如下：

# -*- coding:UTF-8 -*-

import pymysql

class Sql():

def __init__(self,host,port,database,user,password):

try:

self.db = pymysql.connect(host=host,port=port,user=user,password=password,database=database)

print('=======Connect Success！=======\n')

except pymysql.Error as e:

print('Connect Error: %s' %e)

def update(self,sql):

cursor = self.db.cursor()

try:

self.db.ping(reconnect=True)# 解决pymysql.err.InterfaceError报错

cursor.execute(sql)

self.db.commit()

print('Update Success!\n')

except:

self.db.rollback()

self.db.close()

3、这部分实现的功能是首先初始化七个用户的角色权限，然后发送请求，用到的库有requests、json、configparser

# -*- coding:UTF-8 -*-

import requests

import json

import configparser

from database import Sql

# import os

def send():

conf = configparser.ConfigParser()

conf.read('.\config.ini')

# 遍历配置文件中的data部分

user_conf = conf.get('data', 'export_user').split(',')

data_conf = conf.get('data', 'downloadDate').split(',')

url = 'http://xxx.xxx.xxx.xx:xxxx/xxxx/xxxx'

headers = {'content-type': 'application/json'}

# 遍历config.ini中的user和date，逐条发送post请求，请求体使用json格式

for name in user_conf:

for date in data_conf:

data = {"userId": name, "downloadDates": date}

req = requests.post(url,data=json.dumps(data),headers=headers)

print('已发送>>> %s %s 的数据' % (data['userId'], data['downloadDates']))

if __name__ == '__main__':

# 选择使用的数据库

db_choice = 'db_test'

conf = configparser.ConfigParser()

conf.read('.\config.ini')

host = conf.get(db_choice,'host')

port = int(conf.get(db_choice,'port'))

database = conf.get(db_choice,'database')

user = conf.get(db_choice,'user')

password = conf.get(db_choice,'password')

My_sql = Sql(host,port,database,user,password)

real_sql = [

'''UPDATE `A`.`user` SET `type` = 'xxx', `type_id` = 103 WHERE `user_id` = 'a';''',

'''UPDATE `A`.`user` SET `type` = 'xxx', `type_id` = 108 WHERE `user_id` = 'b';''',

'''UPDATE `A`.`user` SET `type` = 'xxx', `type_id` = 111 WHERE `user_id` = 'c';''',

'''UPDATE `A`.`user` SET `type` = 'xxx', `type_id` = 118 WHERE `user_id` = 'd';''',

'''UPDATE `A`.`user` SET `type` = 'xxx', `type_id` = 104 WHERE `user_id` = 'e';''',

'''UPDATE `A`.`user` SET `type` = 'xxx', `type_id` = 100 WHERE `user_id` = 'f';''',

'''UPDATE `A`.`user` SET `type` = 'xxx', `type_id` = 112 WHERE `user_id` = 'g';'''

]

for s in real_sql:

my_update = My_sql.update(s)

send()

4、配置文件，文件中的各部分数据进行了隐藏，分测试环境和正式环境，export_user代表七个用户

[db_Online]

host = xxx.xxx.xxx.xx

port = 3306

database = mydatabase

user = myuser

password = mypassword

[db_test]

host = xxx.xxx.xxx.xx

port = 3306

database = mydatabase

user = myuser

password = mypassword

[data]

export_user = a,b,c,d,e,f,g

downloadDate = 2018.08.01,2018.08.02,2018.08.03,2018.08.04,2018.08.05,2018.08.06,2018.08.07

5、正在找怎么通过Jenkins执行这些代码(Jenkins+Jmeter+Ant也完全可以实现)，这样项目组里的人就谁都可以完成这项工作了(我才不是因为想要偷懒呢！)，待续吧。。。。

写在最后，本人新手菜鸟，代码的严谨性、可读性与简洁性。。。。。好吧，根本就没有这些东西，哈哈哈~~欢迎各位大佬给提意见！

转载自：https://blog.csdn.net/xjian32123/article/details/82665257