spark 修改task占用cpu核数

人在天涯的人儿

已于 2023-01-13 16:03:59 修改

阅读量201

点赞数

文章标签： spark 大数据分布式

于 2023-01-13 16:02:28 首次发布

本文链接：https://blog.csdn.net/qq_34749390/article/details/128675633

版权

 def updateSparkTaskCpus(sc: SparkContext, cpusPerTask: Int) = {
    val _taskScheduler = sc.getClass.getDeclaredField("_taskScheduler")
    _taskScheduler.setAccessible(true)
    val taskSchedulerImpl = _taskScheduler.get(sc)
    val taskCpus: Field = Class.forName("org.apache.spark.scheduler.TaskSchedulerImpl").getDeclaredField("CPUS_PER_TASK")
    taskCpus.setAccessible(true)
    val modifiers: Field = taskCpus.getClass.getDeclaredField("modifiers")
    modifiers.setAccessible(true)
    modifiers.setInt(taskCpus, taskCpus.getModifiers() & ~Modifier.FINAL);
    taskCpus.set(taskSchedulerImpl, cpusPerTask)
  }