spark调度系统
文章平均质量分 83
数据小二
小二讲堂开讲了!!
展开
-
Azkaban 外部接口的使用与开发
Azkaban 外部接口的使用与开发此文档可用于Azkaban 任务的https调用,提供了查看任务的状态信息、执行情况、任务的创建、上传、触发、取消、调度等功能接口。可以使开发者在编程过程中直接通过https api的调用,来对任务进行控制,开发者可参考azkaban官网提供的api文档。azkaban官网提供的api文档:https://azkaban.github.io/azkaban/docs/latest/#ajax-apiAPI调研结果:功能 是否支持 java api原创 2021-05-24 17:09:41 · 1630 阅读 · 1 评论 -
Spark任务流程解析
Spark主要的角色SparkControlProcesses Driver Application entry point that contains the SparkContext instance Master In charge of scheduling and resource orchestration Worker Responsible for node ...原创 2021-01-07 17:13:40 · 584 阅读 · 0 评论 -
多线程批量提交Spark任务
一.目的1.避免资源的浪费2.提高任务执行的效率3.防止任务未执行完毕,session和线程池已关闭,导致任务失败二、异常conding:1)method 1 for (String s : list) { Dataset<Row> sql = sparkSession.sql(s); sql.show(); } sparkSession.close(); Syste.原创 2021-01-07 16:35:14 · 1368 阅读 · 2 评论