前言
本文是该专栏的第40篇,后面会持续分享python的各种干货知识,值得关注。
使用python在处理某些项目的时候,偶尔会遇到需要将“本地数据源”或“数据库数据”上传到AWS S3的需求。AWS S3(Simple Storage Service)是一个公开的服务,Web应用程序开发人员一般可以使用它存储海量数字资产。
通常情况下,我们获取到数据源之后,一般都会想着将数据存入数据容器。对于数据量偏小的情况,mysql几乎都能满足存储需求,而当数据量达到上亿级的时候,mysql基本上就比较吃力了,这时如果考虑将数据存入S3,也是一种明智之举。
那么,通过python来链接AWS S3,并且将目标数据源批量上传到AWS S3,具体需要怎么去处理并实现呢?而本文,笔者将结合实际项目代码,详细介绍通过python来实现链接AWS S3,并实现以下目标功能:
1. 用python链接AWS S3,并上传数据;