Python利用boto3以及Pyspark操作AWS S3
文章目录一、需求背景二、Pyspark <-> S3的读写1. Pyspark读取hive表数据写入s3:2. Pyspark读取s3数据写入hive表:三、Boto3读写s3上的文件1. Boto3读写2.其他用法Reference一、需求背景我收到的需求是首先用pyspark将hive数据导出,然后在服务器进行机器学习计算,结果再返回hive仓库,之前一直使用mysql作为中转,实际发现hive数据太大,转到mysql的ETL部分是单线程的很慢,遂改用AWS的s3作为中转,记录常用的操
原创
2022-05-08 22:21:25 ·
2389 阅读 ·
0 评论