两张上亿的表join,spark sql如何优化？

1、首先，根据两张表的大小，调整spark.sql.shuffle.partitions参数，以便更好地分发数据。
2、调整spark.sql.autoBroadcastJoinThreshold参数，以便更好地判断是否应该使用广播连接。
3、调整spark.sql.join.preferSortMergeJoin参数，以便更好地判断是否应该使用排序合并连接。
4、调整spark.sql.inMemoryColumnarStorage.compressed参数，以便更好地判断是否应该使用压缩列存储。
5、调整spark.sql.codegen.wholeStage参数，以便更好地判断是否应该使用整体阶段代码生成。
6、调整spark.sql.cbo.enabled参数，以便更好地判断是否应该使用代价优化。
7、调整spark.sql.statistics.histogram.enabled参数，以便更好地判断是否应该使用直方图统计