bigdatav011——azkaban
BigDataAzkaban
yanqi_vip
strove with none, for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ——W.S.Landor
展开
-
CC00001.Azkaban——|Hadoop&azkaban.V01|——|azkaban.v01|工作调度系统|
一、工作流调度系统 ### --- 一个完整的数据分析系统通常都是由大量任务单元组成: ~~~ shell脚本程序 ~~~ java程序 ~~~ mapreduce程序 ~~~ hive脚本等 ~~~ 各任务单元之间存在时间先后及前后依赖关系,为了很好地组织起这样的复杂执行计划, ~~~ 需要一个⼯工作流调度系统来调度任务的执行。 ...原创 2022-04-08 15:31:00 · 61 阅读 · 0 评论 -
CC00002.Azkaban——|Hadoop&azkaban.V02|——|azkaban.v02|概述|
一、Azkaban介绍 ### --- Azkaban介绍 ~~~ # Azkaban是由linkedin(领英)公司推出的一个批量工作流任务调度器, ~~~ 用于在一个工作流内以一个特定的顺序运行一组工作和流程。 ~~~ Azkaban使用job配置文件建立任务之间的依赖关系, ~~~ 并提供一个易于使用的web用户界面维护和跟踪你的工作流。 ~~~...原创 2022-04-08 15:32:00 · 65 阅读 · 0 评论 -
CC00003.Azkaban——|Hadoop&azkaban.V03|——|azkaban.v03|azkaban-solo-server部署配置.v01|
一、azkaban-solo-server部署使用:Azkaban安装部署:Azkaban的安装准备工作 ### --- 编译 ~~~ 这里选用azkaban3.51.0这个版本自己进行重新编译, ~~~ 编译完成之后得到我们需要的安装包进行安装 ~~~ Gradle是一个基于Apache Ant和Apache Maven的项目自动化构建工具-x test 跳过...原创 2022-04-08 15:32:00 · 68 阅读 · 0 评论 -
CC00004.Azkaban——|Hadoop&azkaban.V04|——|azkaban.v04|azkaban-solo-server部署配置.v02|
一、单服务模式使用 ### --- 需求:使用azkaban调度我们的shell脚本,执行linux的shell命令 ~~~ 具体步骤:开发job文件:创建普通文本文件 foo.job,文件内容如下 type=command command=echo 'hello world' 二、打成压缩包 ### --- 上传压缩包到Azkaban;创建project并...原创 2022-04-08 15:33:00 · 51 阅读 · 0 评论 -
CC00005.Azkaban——|Hadoop&azkaban.V05|——|azkaban.v05|azkaban.multiple-executor模式部署|
一、multiple-executor模式部署 ### --- [azkaban] ~~~ [azkaban-solo-server部署使用] ~~~ [azkaban-multiple-server模式部署-webserver配置] ~~~ [azkaban-multiple-server模式部署-exec-server配置] ~~~ [azkaba...原创 2022-04-08 15:34:00 · 78 阅读 · 0 评论 -
CC00006.Azkaban——|Hadoop&azkaban.V06|——|azkaban.v06|azkaban.multiple-executor模式部署|
一、配置Azkaban-exec-server ### --- linux123节点,上传exec安装包到/opt/yanqi/software [root@linux123 ~]# cd /opt/yanqi/software/azkaban/ [root@linux123 azkaban]# ll -rw-r--r-- 1 root root 15762323 Jul 22 2...原创 2022-04-08 15:35:00 · 62 阅读 · 0 评论 -
CC00007.Azkaban——|Hadoop&azkaban.V07|——|azkaban.v07|实验实例|
一、shell command调度 ### --- [azkaban] ~~~ [azkaban应用之Job依赖调度] ~~~ [azkaban应用之HDFS任务] ~~~ [azkaban应用之mapreduce任务] ~~~ [azkaban应用之mapreduce任务] ~~~ [azkaban应用之Hive脚本任务] ~~~ [...原创 2022-04-08 15:35:00 · 84 阅读 · 0 评论 -
CC00008.Azkaban——|BigDataEnd|
NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ...原创 2022-04-08 15:35:00 · 64 阅读 · 0 评论