val drive_param = "xxx" val dfs = Seq("xx").toDF("user") dfs.repartition(100).foreachPartition(par => { //drive_param 无法使用, foreachPartition 会把每个rdd 放到executor 上执行,无法读取driver 上的参数, // 解决办法 广播参数,或者重新定义参数 val executor_param = drive_param })
val drive_param = "xxx" val dfs = Seq("xx").toDF("user") dfs.repartition(100).foreachPartition(par => { //drive_param 无法使用, foreachPartition 会把每个rdd 放到executor 上执行,无法读取driver 上的参数, // 解决办法 广播参数,或者重新定义参数 val executor_param = drive_param })