pyspark之DataFrame写hive表方式

最近用spark写hive的过程中，遇到了一些问题，故此把这一块整理整理，供使用参考

spark 语句

hive中静态分区和动态分区的区别在于，静态分区是指定分区值，动态区分是根据值进行自动添加到对应的分区。后者在效率上会比较低，需要启动与分区数相同的数量的reducer

静态分区

df.write.mode('overwrite')\ 
.partitionBy("channel","event_day","event_hour")\  # 分区字段逗号分割，跟建表顺序一致   
.saveAsTable("table_name")  # 如果首次执行不存在这个表，会自动创建分区表，不指定分区即创建不带分区的表

动态分区

# 可动态分区设置
spark.sql("set hive.exec.dynamic.partition.mode=nonstrict;")
# df 按照字段+分区的顺序对应hive顺序
df.write\ 
.insertInto("table_name")  # 如果执行不存在这个表，会报错

用动态分区的方式，mode(‘overwrite’) 无效，只会追加，新版本会会支持覆盖方式，使用时注意版本

另外通过saveAsTable的方式建起来的表格式默认为文本格式，可以通过format指定所需格式

spark SQL 处理

方法