大数据常用调度平台

最新推荐文章于 2024-06-03 09:53:53 发布
最新推荐文章于 2024-06-03 09:53:53 发布
阅读量2k 收藏 7
点赞数 2
分类专栏： bigdata 文章标签： spark big data mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZGL_cyy/article/details/119102117
版权

目录

1. 项目结构

  • 目标
    • 理解项目中为什么需要调度平台
  • 步骤
    1. 项目介绍
    2. 项目结构

1.1. 项目介绍

项目功能

  • 标签创建
  • 标签计算
  • 标签审计
  • …

如果要对标签进行计算, 就需要把标签和标签的计算都管理起来

  • 创建标签时, 执行标签计算任务
    • 把计算和标签关联起来, 通过标签能找到任务, 通过任务也知道它计算的是什么标签
    • 标签, 年龄就是一个标签
    • 计算任务, 为了计算年龄标签, 需要去读取用户数据, 计算每一个用户是哪一个标签
    • 用户画像数据, 每一个用户的标签, 就是用户画像数据
  • 修改标签时, 标签计算任务同步修改
  • 删除标签时, 标签计算任务停止

所以, 我们的项目需要和调度平台结合起来, 不仅管理标签本身, 也需要管理标签相关联的任务, 所以需要配合调度平台来管理

1.2. 项目结构

在这里插入图片描述

  • 管理者通过画像系统添加, 修改, 删除标签
  • 画像系统将标签抽象为标签和任务, 通过 Oozie 调度到 Yarn 中
  • Yarn 中的 Spark 任务读取 MySQL 中的标签元信息
  • Spark 任务通过 HBase 读取需要计算的数据
  • 计算完成后, 插入 HBase 对应的表中

2. Oozie 介绍

  • 目标
    • 了解 Oozie 的作用
  • 步骤
    1. 需求
    2. 可选的方式
    3. Oozie 和同类的对比

2.1. 需求

  • 现在要计算年龄标签, 有七个阶段, 50后、60后、70后、80后、90后、00后、10后、20后
  • 通过 Spark 写了一个程序, 读取用户年龄, 把每个用户的年龄映射到每个阶段内
  • 因为年龄标签变化的频率不高, 所以决定要一年计算一次
  • 如何完成这个计算任务的调度?

2.2. 可选的方式

2.2.1. Crontab

  • Crontab 是 Linux 的一个调度程序, 允许我们通过一个简洁的语法表示调度周期, 在对应的时间点周期性的执行某个 Shell 脚本或者 Shell 命令

    # 分 时 日 月 星期 要运行的命令

# 每1分钟执行一次myCommand
* * * * * myCommand

# 每小时的第3和第15分钟执行
3,15 * * * * myCommand

# 在上午8点到11点的第3和第15分钟执行
3,15 8-11 * * * myCommand

# 每周一上午8点到11点的第3和第15分钟执行
3,15 8-11 * * 1 myCommand

  • 我们可以编写一个 Shell 脚本, 其中写上

    spark-submit --master yarn \
--class xx
--executor-memory 500m
--executor-cores 1
--num-executors 1
xx.jar
args1

  • 然后再将如下的 cron 加入 crontab

    0 20 * * * tag_age.shell

这样的方式有如下几个问题

  • cron 任务只能通过命令来管理
    • crontab -e
  • 如果换成如下的需求, 这个流程我们该如何控制呢?
    1. 把数据抽取到 HBase 中
    2. 同步执行如下两个任务
      • 合并用户数据和订单数据, 生成宽表
      • 合并用户数据和商品数据, 生成宽表
    3. 合并两个宽表, 计算用户标签
  • 如果执行的程序出错了, 只能登录到对应的主机查看 Log
  • …

2.2.2. Oozie

  1. 创建一个 Workflow, 表示一个任务的执行流程
  2. 创建一个 Coordinator, 表示任务的执行周期
  3. 通过 Hue 提交任务
  4. 通过 Hue 查看任务执行的 Log

2.3. Oozie 和竞品的对比

现在市面上比较多见的调度平台分别是 Oozie 和 Azkaban, 还有一个后起之秀 AirFlow

AirflowAzkabanOozie
机构AirbnbLinkedInApache
社区Very ActiveSomewhat activeActive
历史4年7 年8 年
目的General Purpose Batch ProcessingHadoop 作业调度Hadoop 作业调度
流程定义PythonCustom DSLXML
单节点支持YesYes
快速开始支持支持不支持
高可用YesYesYes
单点故障是是不, 使用 Yarn
运行模式PushPushPoll
Rest API 触发YesYesYes
外部事件触发YesNoYes
Web 权限LDAP/PasswordXML PasswordKerberos
监控YesLimitedYes
可扩展性Depending on executor setupGoodVery Good
  • 在对工具的支持上, Airflow 和 Oozie 都很好, 但是 Airflow 要简便一些
  • 功能上, Oozie 最强大
  • 稳定性上, Oozie 最稳定
  • 上手速度, Azkaban 最快
  • 带有个人情绪的简评, Oozie 最稳定, 也最难以驾驭, 坑多

3. Oozie 组件

  • 目标
    • 理解 Oozie 各个组件
  • 步骤
    1. Workflow
    2. Coordinator

3.1. Workflow

在这里插入图片描述

  • Workflow 就是一个工作流, 从 start 开始, 到 end 结束
  • Workflow 中提供了 Fork 和 Join 机制
    • Fork 可以使得多个任务并行
    • Join 可以让并行的任务汇总
  • Workflow 中提供了 Decision 机制
    • 类似于 if 一样, 可以提供分支选择功能
  • 在任务执行完成后, Workflow 可以以发送邮件, 短信等方式通知
  • Workflow 提供了一种类似 DAG 的方式来执行一组任务
    • Oozie 支持 MR, Hive, Spark, Shell 等的支持

3.2. Coordinator

在这里插入图片描述

  • Workflow 表示了任务的实现和关系
  • Oozie 提供了 Coodinator, 用来调度 Workflow
  • Coordinator 在 Hue 中叫做 Scheduler

4. 调度实现

  • 目标
    • 实现工程中的调度功能
  • 步骤
    1. 执行流程
    2. Workflow
    3. Coordinator
    4. Java 代码
    5. 调度 Workflow

4.1. 执行流程

  1. 用户在网页中添加四级标签, 因为四级标签代表标签, 五级标签代表标签值域
    1. 上传 Jar 包
    2. 提交标签
  2. 后端收到添加标签的请求, 存储标签信息并将 Jar 包上传到 HDFS
    • cn.oldlu.tag.web.basictag.controller.BasicTagController#modelUpload
  3. 用户在网页中开启标签计算
  4. 后端收到请求, 联系 Oozie 开始调度

添加标签的执行流程如下

  1. 调用了 BasicTagController
  2. 在 BasicTagController 中调用了 BasicTagService
  3. 保存 Tag 信息, 指的就是具体的标签数据, 比如说标签叫什么, 谁创建的, 什么时候创建的, 级别…
  4. 保存 Model 信息, 标签是需要计算的, 我们使用 Spark Job 计算, Main方法在哪个类, Jar 包的位置等…
    • 在保存之前, 把 Model 对应 Jar 包上传到 HDFS 中
    • 路径 /app/models/Tag_10/xx.jar

开启任务的流程如下

  1. 调用 TaskProcessing 中的方法
  2. TaskProcessing 会调用 EngineService 中的 start 方法
    • 传进来了一个 标签 ID

4.2. Workflow

  • Workflow 使用 XML 编写, 是一种通过配置表示过程的方式
  • Workflow 中的配置无需太过认真的了解, 大致知道流程即可
    • 因为一般情况下, 我们使用 Hue 或者 Ambari 的图形化方式去编辑 Workflow , 手写的可能性比较低
  • Workflow 中可以使用 EL 表达式填充信息
<workflow-app name="Extra goods from hive to hbase fully" xmlns="uri:oozie:workflow:0.5">
    <start to="tag-model-job"/>
    <action name="tag-model-job">
        <spark xmlns="uri:oozie:spark-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <master>${sparkMaster}</master>
            <mode>${sparkDeployMode}</mode>
            <name>${oozieWFName}</name>
            <class>${sparkJobMain}</class>
            <jar>${sparkJobJar}</jar>
            <spark-opts>${sparkJobOpts}</spark-opts>
            <arg>${sparkMainOpts}</arg>
            <file>${sparkContainerCacheFiles}</file>
        </spark>
        <ok to="End"/>
        <error to="Kill"/>
    </action>
    <kill name="Kill">
        <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="End"/>
</workflow-app>

4.3. Coordinator

  • 此处的 Coordinator 只是为了周期性调度 Workflow
  • 在项目中提供的调度周期有: 日, 月, 年
<?xml version="1.0" encoding="UTF-8"?>
<coordinator-app name="cron-coordinator" frequency="${coord:days(1)}"
                 start="${start}" end="${end}" timezone="Asia/Shanghai" xmlns="uri:oozie:coordinator:0.5">
    <action>
        <workflow>
            <app-path>${oozieWorkflowPath}</app-path>
        </workflow>
    </action>
</coordinator-app>

4.4. Java 代码

private boolean startEngineActually(EngineBean engineBean) {
        ModelBean modelBean = modelMapper.get(new ModelBean(engineBean.getTagId()));
        MetaDataBean metaDataBean = metaDataMapper.get(new MetaDataBean(engineBean.getTagId()));

        // 1. 判断模型和元数据是否存在, 如果不存在则启动失败
        HdfsUtil hdfsUtil = HdfsUtil.getInstance();
        if (!hdfsUtil.exist(modelBean.getModelPath())) {
            logger.error("模型包不存在, 启动失败");
            return false;
        }
        if (StringUtils.isBlank(metaDataBean.getInType())) {
            logger.error("模型元信息不存在或者缺失 InType, 启动失败");
            return false;
        }

        // 2. 上传 Oozie 配置到 HDFS
        String localOozieConfigPath = engineBean.getRemark() + oozieConfigDirName + "/";
        String tagModelPath = hdfsUtil.getPath(new File(modelBean.getModelPath()).getParent());

        hdfsUtil.uploadLocalFile2HDFS(localOozieConfigPath + workflowFileName, tagModelPath);
        hdfsUtil.uploadLocalFile2HDFS(localOozieConfigPath + coordinatorFileName, tagModelPath);

        // 3. 构建 Oozie job 参数
        OozieUtil oozie = oozieUtil.build();
        Properties oozieConf = oozie.getConf();

        // 3.1. Workflow 部分
        String separator = "/";
        oozieConf.setProperty("nameNode", nameNode);
        oozieConf.setProperty("sparkJobMain", modelBean.getModelMain());

        if (StringUtils.isNotBlank(modelBean.getArgs())) {
            oozieConf.setProperty("sparkJobOpts", modelBean.getArgs());
        }

        oozieConf.setProperty("sparkJobJar", "${nameNode}" + modelBean.getModelPath());
        oozieConf.setProperty("sparkContainerCacheFiles", "${nameNode}" + modelBean.getModelPath());

        // 3.2. Coordinator 部分, Coordinator 中的时间格式是 UTC, 如 2018-06-019T20:01Z
        oozieConf.setProperty("oozieWorkflowPath", "${nameNode}" + tagModelPath + separator);
        oozieConf.setProperty("oozie.coord.application.path", "${nameNode}" + tagModelPath + separator + coordinatorFileName);

        // ScheTime 的格式为 每天#2018-06-01 20::01#2018-06-01 20::01
        String[] scheduleArr = modelBean.getScheTime().split("#");
        String freq = scheduleArr[0];
        String startDateTime = scheduleArr[1];
        String endDateTime = scheduleArr[2];

        // 设置频率
        String freqStr = "";
        switch (freq) {
            case "每天":
                freqStr = "day";
                break;
            case "每周":
                freqStr = "week";
                break;
            case "每月":
                freqStr = "month";
                break;
            case "每年":
                freqStr = "year";
                break;
        }
        oozieConf.setProperty("freq", freqStr);

        // 设置开始时间
        String[] startDateTimeArr = startDateTime.split(" ");
        String startDate = startDateTimeArr[0];
        String startTime = startDateTimeArr[1];
        oozieConf.setProperty("start", startDate + "T" + startTime + "Z");

        // 设置结束时间
        String[] endDateTimeArr = endDateTime.split(" ");
        String endDate = endDateTimeArr[0];
        String endTime = endDateTimeArr[1];
        oozieConf.setProperty("end", endDate + "T" + endTime + "Z");

        logger.info(oozieConf.toString());

        // 4. 提交 Oozie 任务
        String jobId = oozie.start(oozieConf);

        // 5. 设置监控
        EngineBean mEngineBean = new EngineBean();
        mEngineBean.setJobid(jobId);
        mEngineBean.setTagId(engineBean.getTagId());
        mEngineBean.setStatus("3");
        int state = engineMapper.addMonitorInfo(mEngineBean);

        return state > 0;
    }

4.5. 执行流程

  1. 上传 Jar 包
  2. 创建四级标签
  3. 开启标签任务
  4. Hue 中查看
    • 注意把 Filter 清空

4.5. 调度 Workflow

因为在测试阶段, 我们希望每次提交任务都立刻执行, 所以可以注释掉提交 Oozie 任务的代码, 改为直接提交 Workflow 任务

  • 去掉 Coordinator 的位置, 改为 APP_PATH, 则会直接找到 Workflow 提交
    private boolean startEngineActually(EngineBean engineBean) {
        ModelBean modelBean = modelMapper.get(new ModelBean(engineBean.getTagId()));
        MetaDataBean metaDataBean = metaDataMapper.get(new MetaDataBean(engineBean.getTagId()));

        // 1. 判断模型和元数据是否存在, 如果不存在则启动失败
        HdfsUtil hdfsUtil = HdfsUtil.getInstance();
        if (!hdfsUtil.exist(modelBean.getModelPath())) {
            logger.error("模型包不存在, 启动失败");
            return false;
        }
        if (StringUtils.isBlank(metaDataBean.getInType())) {
            logger.error("模型元信息不存在或者缺失 InType, 启动失败");
            return false;
        }

        // 2. 上传 Oozie 配置到 HDFS
        String localOozieConfigPath = engineBean.getRemark() + oozieConfigDirName + "/";
        String tagModelPath = hdfsUtil.getPath(new File(modelBean.getModelPath()).getParent());

        hdfsUtil.uploadLocalFile2HDFS(localOozieConfigPath + workflowFileName, tagModelPath);
        hdfsUtil.uploadLocalFile2HDFS(localOozieConfigPath + coordinatorFileName, tagModelPath);

        // 3. 构建 Oozie job 参数
        OozieUtil oozie = oozieUtil.build();
        Properties oozieConf = oozie.getConf();

        // 3.1. Workflow 部分
        String separator = "/";
        oozieConf.setProperty("nameNode", nameNode);
        oozieConf.setProperty("sparkJobMain", modelBean.getModelMain());

        if (StringUtils.isNotBlank(modelBean.getArgs())) {
            oozieConf.setProperty("sparkJobOpts", modelBean.getArgs());
        }

        oozieConf.setProperty("sparkJobJar", "${nameNode}" + modelBean.getModelPath());
        oozieConf.setProperty("sparkContainerCacheFiles", "${nameNode}" + modelBean.getModelPath());
        oozieConf.setProperty(OozieClient.APP_PATH, "${nameNode}" + tagModelPath + separator + workflowFileName);

        // 3.2. Coordinator 部分, Coordinator 中的时间格式是 UTC, 如 2018-06-019T20:01Z
//        oozieConf.setProperty("oozieWorkflowPath", "${nameNode}" + tagModelPath + separator);
//        oozieConf.setProperty("oozie.coord.application.path", "${nameNode}" + tagModelPath + separator + coordinatorFileName);
//
//        // ScheTime 的格式为 每天#2018-06-01 20::01#2018-06-01 20::01
//        String[] scheduleArr = modelBean.getScheTime().split("#");
//        String freq = scheduleArr[0];
//        String startDateTime = scheduleArr[1];
//        String endDateTime = scheduleArr[2];
//
//        // 设置频率
//        String freqStr = "";
//        switch (freq) {
//            case "每天":
//                freqStr = "day";
//                break;
//            case "每周":
//                freqStr = "week";
//                break;
//            case "每月":
//                freqStr = "month";
//                break;
//            case "每年":
//                freqStr = "year";
//                break;
//        }
//        oozieConf.setProperty("freq", freqStr);
//
//        // 设置开始时间
//        String[] startDateTimeArr = startDateTime.split(" ");
//        String startDate = startDateTimeArr[0];
//        String startTime = startDateTimeArr[1];
//        oozieConf.setProperty("start", startDate + "T" + startTime + "Z");
//
//        // 设置结束时间
//        String[] endDateTimeArr = endDateTime.split(" ");
//        String endDate = endDateTimeArr[0];
//        String endTime = endDateTimeArr[1];
//        oozieConf.setProperty("end", endDate + "T" + endTime + "Z");
//
//        logger.info(oozieConf.toString());

        // 4. 提交 Oozie 任务
        String jobId = oozie.start(oozieConf);

        // 5. 设置监控
        EngineBean mEngineBean = new EngineBean();
        mEngineBean.setJobid(jobId);
        mEngineBean.setTagId(engineBean.getTagId());
        mEngineBean.setStatus("3");
        int state = engineMapper.addMonitorInfo(mEngineBean);

        return state > 0;
    }
赵广陆
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
adms-web:算法调度平台
03-25
adms-web:算法调度平台
大数据调度平台oozie、azkaban、dolphinscheduler对比
老姜的数据江湖
11-09 6077
大数据调度平台目前多样化，如何选择适合自己公司得调度平台，老姜给大家罗列三种调度平台性能对比。 DolphinScheduler Azkaban Oozie 定位 解决数据处理流程中错综复杂的依赖关系 为了解决Hadoop的任务依赖关系问题 管理Hdoop作业（job）的工作流程调度管理系统 任务类型支持 支持传统的shell任务，同时支持大数据平台任务调度：MR、Spark、SQL(mysql、postgresql、hive/sparksql)、python、procedure、su
大数据平台常用的调度系统
最新发布
youziguo的专栏
06-03 868
在大数据平台上，调度系统用于管理和协调数据处理任务的执行。这些调度系统能够自动化工作流程，确保任务按时执行，并在任务失败时进行重试或通知。以下是一些常用的大数据调度系统：
从0到1搭建大数据平台之调度系统
大数据指北
01-05 2569
大数据调度系统。
大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比
6个日的博客
03-22 3497
海豚调度出来的有点迟，它把我们之前讲的 Oozie、Azkaban、airflow的优点全拿过来了，后发优势，集万千优点于一身，缺点也避免了。过载处理：airflow 任务过多时卡死服务器，DolphinScheduler任务队列机制，当任务过多时会缓存在任务队列中。Azkaban:最适合shell脚本，当job不多的时候，可以使用。海豚调度的多租户和我们YARN的多租户是对应起来的，这个非常好。离线：用的Spark比较多，实时用 Flink比较多。推荐海豚DolphinScheduler任务器~~~~
浅谈大数据任务调度平台
北方的大数据之路
12-28 8611
谈到大数据，避免不了hadoop, hive, spark 这些基础套件，但是在整个大数据开发的时候，我们面对的基本上都是数据开发平台和任务调度系统。数据开发平台一般直接面对业务同学，很大程度上影响业务同学的开发效率和节奏。而任务调度系统像一个黑盒一样，使用方一般都是数据开发的同学。但是任务调度系统在整个大数据体系中却占据着核心的地位。本人刚好负责一家互联网上市公司的调度平台，本文将通过几个方面介绍以下调度平台的基本功能，和在工作中的使用经验。
大数据常用脚本.rar
05-12
"大数据常用脚本.rar"这个压缩包很可能包含了多种用于大数据操作的脚本示例，可能包括Python、Shell、Pig Latin、HiveQL等。下面将详细讨论这些脚本语言在大数据处理中的应用和重要知识点。 1. Python：Python是...
大数据常用面试题.docx
12-07
大数据开发面试通常涵盖了各种技术组件，包括分布式文件系统、数据处理框架、消息中间件以及资源调度平台等。以下是对给定面试题中涉及的知识点的详细解析： 1. **Hadoop HA（高可用）模式**： - Hadoop HA是一种...
智慧物业大数据可视化平台
12-16
常用的大数据可视化技术包括： 1. 饼图、柱状图、折线图：用于展现各类指标的比例关系和趋势变化。 2. 地图：结合GIS技术，展示物业区域内的分布情况，如住户密度、设施位置等。 3. 散点图和热力图：揭示数据间的...
azkaban玩转热门大数据调度系统视频教程
10-21
常用工作流调度工具 第二章：Azkaban工作流调度系统 1.Azkaban的起源及其发展 2.Azkaban分布式架构原理 3.Azkaban中的工作流概念详解 第三章：Azkaban企业级多模式部署 1.Azkaban版本及三种部署模式 2....
大数据实验平台.pptx
10-14
通过大数据实验平台，不仅可以进行大数据常用组件的安装、部署和使用，还能进行组件的运维和调优，开发和设计大数据存储、处理系统，进行组件的二次开发和算法设计，以及进行数据挖掘和机器学习等高级实践。...
大数据调度平台 Airflow（一）：什么是 Airflow
wr_java的博客
04-17 350
Airflow 采用 Python 语言编写，提供可编程方式定义 DAG 工作流，可以定义一组有依赖的任务，按照依赖依次执行， 实现任务管理、调度、监控功能。另外，Airflow 提供了 WebUI 可视化界面，提供了工作流节点的运行监控，可以查看每个节点的运行状态、运行耗时、执行日志等。也可以在界面上对节点的状态进行操作，如：标记为成功、标记为失败以及重新运行等。在 Airflow 中工作流上每个 task 都是原子可重试的，一个工作流某个环节的 task 失败可自动或手动进行重试，不必从头开始跑。
分布式任务调度平台一站式讲解
Gblfy_Blog
03-24 2389
文章目录一、传统的定时任务1. 传统的定时任务存在那些缺点2. 定时任务集群幂等性问题二、传统定时任务的实现方案2.1. 多线程2.2. TimeTask2.3. 线程池2.4. SpringBoot注解形式2.5. 基于Quartz三、分布式任务调度平台架构设计原理3.1. xxl-job项目模块讲解3.2. 最佳实战3.3. Xxl-job定时任务框架实现原理四、常见面试题4.1. XXL-JOB与ElasticJob区别之间区别4.2. 分布式任务调度分片集群策略原理4.3. 如何保证任务调度平台
进击大数据系列（五）：Hadoop 统一资源管理和调度平台 YARN
民工哥的博客
06-13 671
点击下方名片，设为星标！回复“1024”获取2TB学习资源！前面介绍了 Hadoop 基本概念与生态、安装（HDFS+YARN+MapReduce）实战操作、常用命令、架构基石 HDFS等相关的知识点，今天我将详细的为大家介绍 大数据 Hadoop 统一资源管理和调度平台 YARN 相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！Yarn 概述Apache Yarn（Ye...
10分钟实现任务调度平台搭建
东皋长歌的专栏
07-25 1062
powerjob是目前最灵活的一个可视化在线调度平台了，支持随时修改立即生效，可随时发起调度，支持告警配置。
统一调度平台V2.0
我的物联网项目
07-07 1903
1.产品介绍 调度任务是大多数应用系统的常见需求，一般小型项目中，我们可能直接在每个项目代码中直接使用spring quartz集成。随着分布式系统拆分越来越细，我们会发现很多业务系统都有调度任务的需求，而调度配置都是由每个业务系统自己在维护，当我你需要动态去修改或者添加等操作的时候，就会发现代价很高。这个时候，我们需要将所有系统的调度任务统一去管理，并且实现很方便的接入(http rest接入)，不需要去配置一大堆如spring quartz的配置，并且支持动态的热插拔。统一调度平台完全可以满足这种分布
分布式任务调度平台XXL-JOB
qq_25624815的博客
03-25 944
/doc :文档资料- /db :“调度数据库”建表脚本- /xxl-job-admin :调度中心，项目源码- /xxl-job-core :公共Jar依赖- /xxl-job-executor-samples :执行器，Sample示例项目（大家可以在该项目上进行开发，也可以将现有项目改造生成执行器项目）
搭建分布式任务调度平台
Quan
03-20 711
如何保证定时任务幂等性？ 只在一台机器添加定时任务 缺点：任务量大的时候，不能满足需求 在数据库能插入数据成功的可以执行 缺点：效率太低，且，很low 使用redis分布式锁，能够成功获取锁的才能够执行定时job 缺点：没有重试补偿机制，不能支持集群不支持路由策略 使用zk分布式锁，和redis原理相同 缺点：没有重试补偿机制，不能支持集群不支持路由策略 使用分布...
数据平台作业调度系统详解－理论篇
yunqitech的博客
04-04 275
多数静态执行列表流派的系统，比如oozie，azkaban以及各种公有云的workflow服务，都会包含创建工作流Flow这样一个过程，用户需要定义一个具体的作业流程里面都包含哪些作业，他们的先后依赖关系如何。所不同的是，用户通过什么手段来定义和描述这个工作流：比如oozie要求用户提供XML文件（也可以通过API提交），按照规定的格式描述各个工作流的拓扑逻辑和Job的依赖关系，各种任务类型的细节配置等等。
大数据常用的资源调度器
06-11
大数据常用的资源调度器有以下几种： 1. Apache Hadoop YARN Apache Hadoop YARN是Hadoop系统的资源调度器，支持MapReduce和Apache Spark等计算框架。YARN提供了分布式应用程序的资源管理和任务调度，可以在集群中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

赵广陆

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值