pyspark--写hive分区表覆盖指定分区数据
初次写入分区数据spark写入hive分区表时,如果数据表事先不存在,可以选择手动建表,可以使用以下代码写入数据,会自动创建数据表:df = spark.createDataFrame([(1, "alice", "20220412"), (2, "bob", "20220412")], ["id", "name", "date"])df.show()df.write.format("orc").mode("overwrite").partitionBy("date").saveAsTable("t
原创
2022-04-16 22:27:45 ·
6576 阅读 ·
0 评论