动态加载类,构造类的实例,并转化为DataFrame,同时还要解决入表时,类属性值与表字段一一对应,同时只有部分字段有值,其他字段提供根据字段类型提供默认值
def mergeRDD(spark:SparkSession,countRDDs:RDD[(String, (Int,Int))],dtoName:String):DataFrame={ import spark.implicits._ // 聚合所有指标,并封装为HashMap ,key 为dto中序号,value为dto 值 val rdd = countRDDs.groupByKey().map(x =>(x._1,x._2.toList)).map{ x => //从keys分离出相关属性 ex 1_1_1