- 博客(3)
- 收藏
- 关注
原创 Spark如何确定数据倾斜的key
使用sample抽样获取数据倾斜的keyobject SparkDataSkew { def main(args: Array[String]): Unit = { val sparkConf: SparkConf = new SparkConf() .setMaster("local") .setAppName("data_skew_key") val sparkContext = new SparkContext(sparkConf) val rd
2021-12-01 16:56:25 1099
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人