【Python篇】自动化处理数据流程

前沿

能够流程化的业务尽量自动化。提高效率，最大程度的商业化才是首要。

本人的业务逻辑是这样：
第一步：首先抓包，获取需要的接口；
第二步：开启爬虫，保存爬取的资源；
第三步：根据本地的资源，生成json，入库；
第四步：把本地资源上传S3；
第五步：通过服务端API请求数据。

流程图：

本篇文章主要介绍第二步，第三步，第四步

第二步：对文件重命名&生成json

rename_json.py

批量修改文件名

生成json

第三步：连接数据库&建表&入库

json_to_mysql.py

连接数据库

建表

入库

第四步：连接S3&创建目录&批量上传资源

file_to_s3.py

连接S3

创建目录

批量上传资源

最后

Demo