weixin_42412645的博客

最近项目要用准时数据，于是改用sparkSQL还对数据进行统计。kafka落到HDFS上是按照天分区，小时文件。 HDFS上的目录结构如下: A/20190101/2019010100 A/20190101/2019010101 B/20190101/2019010100 B/20190101/2019010101 方法1：使用sparkContext.read.text(paths=[p...

1.开始hive动态分区参数 val spark = SparkSession .builder() .appName(“test”) .enableHiveSupport() .config(“spark.sql.adaptive.enabled”,true) .config(“spark.sql.adaptive.shuffle.targetPostShuffleInputSize”,1342...