Azkaban基础学习

最新推荐文章于 2024-02-18 22:36:24 发布
最新推荐文章于 2024-02-18 22:36:24 发布
阅读量97 收藏
点赞数
分类专栏： 大数据开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yk19904/article/details/116724694
版权

一、概述

1.什么是 Azkaban

2.为什么需要工作流调度系统

3.Azkaban特点

4.常见工作流调度系统

5.Azkaban的架构

二、Azkaban安装部署

1.安装前准备

2. 安装Azkaban

3.生成密钥对和证书

4.时间同步配置

5.配置文件

6.启动Executor服务器

7.启动Web服务器

三、Azkaban实战

Azkaban 内置的任务类型支持 command、java

1.单一job案例

2.邮件通知配置

3.多job工作流案例

4.Java操作任务

5.HDFS操作任务

6.MapReduce任务

7.Hive脚本任务

扩展：传参

程序员的人生K
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Azkaban知识点入门
默主归沙的博客
06-04 1226
任务流程图： 官网：https://azkaban.github.io/ 1.2 azkaban的特点 1.3 常见调度系统 1.4 azkaban和oozie的比较 azkaban和oozie相对来说是市面上最流行的两种调度器。总体来说，ooize相比azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂。如果可以不在意某些功能的缺失，轻量级调度器azkaban是很不错的候选对象。具体对比如下： 工作流定义 工作流传参 定时执行 资源管理 工作流执行 工
基于深度学习的监督学习源码+项目说明（使用梯度下降、ALS、LFM算法）.zip
01-16
1、该资源内项目代码经过严格调试，下载即用确保可以运行！ 2、该资源适合计算机相关专业(如计科、人工智能、大数据、数学、电子信息等)正在做课程设计、期末大作业和毕设项目的学生、或者相关技术学习者作为学习资料参考使用。 3、该资源包括全部源码，需要具备一定基础才能看懂并调试代码。 基于深度学习的监督学习源码+项目说明（使用梯度下降、ALS、LFM算法，使用AngularJS2生成前端框架，数据库为MongoDB，使用ElasticSearch作为搜索服务器，Redis作为缓存数据库，其中包括Spark的离线统计服务、Azkaban的工作调度服务、Flume的日志）.zip
Java及大数据学习路线.pdf
12-24
Java及⼤数据学习路线 1.Java学习路线 1.1JavaSE Java基础 Java8新特性 数据库MySQL与SQL语⾔ JDBC 1.2JavaWeb HTML基础与CSS JavaScript DOM 与 jQuery XML与Tomcat HTTP协议 服务器端组件Servlet JSP EL表达式 JSTL 会话控制Cookie和Session 服务器端组件Filter 服务器端组件Listener 国际化 异步数据传输框架Ajax ⽂件的上传下载 1.3JavaEE框架 系统整体分层解耦框架spring 轻量级Web框架springmvc 轻量级持久层框架mybatis 服务器操作系统Linux 内存数据库Redis 项⽬架构、jar包管理⼯具Maven 1.4JavaEE⾼级 SVN/IDEA开发⼯具 分布式版本管理⼯具Git与Github Mysql⾼级 Mycat实现MySQL的分布式、分库分表、读写分离 Nginx反向代理、负载均衡、动静分离 JVM内存模型、参数调优 JUC线程⾼级 分布式架构注册中⼼Zookeeper 虚拟化应⽤容器Docker 全⽂检索引擎ElasticSearch 消息队列RabbitMQ 前端VUE/ES6 2⼤数据学习路线 2.1JavaSE Java基础 Java8新特性 数据库MySQL与SQL语⾔ JDBC 2.2JavaEE核⼼ HTML、CSS、JS、XML Tomcat服务器、HTTP协议、JSP、Servlet组件 EL表达式、会话控制、⽂件的上传下载 Filter组件、Listener组件、异步传输框架AJax 系统整体分层解耦框架spring 轻量级Web框架springmvc 轻量级持久层框架mybatis 项⽬架构、jar包管理⼯具Maven 服务器操作系统Linux 内存数据库Redis Mysql⾼级 命令解析器Shell 2.3Hadoop⽣态体系 ⼤数据存储框架Hadoop 分布式服务管理框架zookeeper hadoop⾼可⽤HA 数据仓库hive 数据查询框架impala+kudu+clouderManager ⽇志采集传输框架flume/idea 分布式发布-订阅消息系统Kafka+监控器kafkaManager+kafkaMonitor 分布式⾮关系型数据库Hbase+Hbase⼆级索引创建⼯具Phoenix 任务调度框架Azkaban 数据查询框架Kylin+druid ⼤数据图形化⼯具Hue 分布式版本管理⼯具Git与Github 2.4 Spark/Flink⽣态体系 全⽂检索+⽇志搜集+数据可视化ELK 多范式编程语⾔Scala SparkCore/Spark SQL/Spark Streaming/Spark mlib Spark内核和优化 JVM/JUC python 数据结构 ⼤数据框架Flink 3 Java基础图谱 4 软件开发介绍 软件开发 软件，即⼀系列按照特定顺序组织的计算机数据和指令的集合。有系统软 件和应⽤软件之分。 4.1 ⼈机交互⽅式 图形化界⾯(Graphical User Interface GUI)这种⽅式简单直观，使⽤ 者易于接受，容易上⼿操作。 命令⾏⽅式(Command Line Interface CLI)：需要有⼀个控制台，输 ⼊特定的指令，让计算机完成⼀些操作。较为⿇烦，需要记录住⼀些 命令。 Pascal之⽗Nicklaus Wirth： "Algorithms+Data Structures=Programs" 4 .2常⽤的DOS命令 dir : 列出当前⽬录下的⽂件以及⽂件夹 md : 创建⽬录 rd : 删除⽬录 cd : 进⼊指定⽬录 cd… : 退回到上⼀级⽬录 cd: 退回到根⽬录 del : 删除⽂件 exit : 退出 dos 命令⾏ 补充：echo javase>1.doc
Azkaban任务调度系统(安装搭建)
02-24
本文来自于csdn，本文主要介绍学习Azkaban的基础搭建场景和基本使用，希望对您的学习有所帮助。无论是在业务开发还是在大数据开发中,脚本都是必不可少的存在,在初期我们会使用crontab来解决问题,那么当发现规模变大监控需求可视化需求的到来Crontab已经显然满足不了需求,抱着一颗解决大数据任务脚本和业务任务脚本难题的心态最终在oozie和Azkaban选择了使用Azkaban来作为公共任务调度系统,那么就随着笔者一同来学习Azkaban的基础搭建场景和基本使用吧.Azkaban官网:官方文档地址:为什么需要任务调度?一个完整的数据分析系统(业务系统)通常都是由大量任务单元组成：-she
大数据工程师学习计划.pdf
12-24
⼤数据⼯程师学习计划 申明：本⽂旨在为普通程序员（Java程序员最佳）提供⼀个⼊门级别的⼤数据技术学习路径，不适⽤于⼤数据⼯程师的进阶学习，也不适⽤ 于零编程基础的同学。 前⾔ ⼀、背景介绍 本⼈⽬前是⼀名⼤数据⼯程师，项⽬数据50T，⽇均数据增长20G左右，个⼈是从Java后端开发，经过3个⽉的业余⾃学成功转型⼤数据⼯ 程师。 ⼆、⼤数据介绍 ⼤数据本质也是数据，但是⼜有了新的特征，包括数据来源⼴、数据格式多样化（结构化数据、⾮结构化数据、Excel⽂件、⽂本⽂件 等）、数据量⼤（最少也是TB级别的、甚⾄可能是PB级别）、数据增长速度快等。 如果你对⼤数据开发感兴趣，想系统学习⼤数据的话，可以加⼊⼤数据技术学习交流扣群：数字4583+数字45782，私信管理员即可免费 领取开发⼯具以及⼊门学习资料 针对以上主要的4个特征我们需要考虑以下问题： 数据来源⼴，该如何采集汇总？对应出现了Sqoop，Cammel，Datax等⼯具。 数据采集之后，该如何存储？对应出现了GFS，HDFS，TFS等分布式⽂件存储系统。 由于数据增长速度快，数据存储就必须可以⽔平扩展。 数据存储之后，该如何通过运算快速转化成⼀致的格式，该如何快速运算出⾃⼰想要的结果？ 对应的MapReduce这样的分布式运算框架解决了这个问题；但是写MapReduce需要Java代码量很⼤，所以出现了Hive，Pig等将SQL转 化成MapReduce的解析引擎； 普通的MapReduce处理数据只能⼀批⼀批地处理，时间延迟太长，为了实现每输⼊⼀条数据就能得到结果，于是出现了Storm/JStorm这 样的低时延的流式计算框架； 但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群（包括HDFS+MapReduce+Yarn）和Storm集群，不易于 管理，所以出现了Spark这样的⼀站式的计算框架，既可以进⾏批处理，⼜可以进⾏流处理（实质上是微批处理）。 ⽽后Lambda架构，Kappa架构的出现，⼜提供了⼀种业务处理的通⽤架构。 为了提⾼⼯作效率，加快运速度，出现了⼀些辅助⼯具： Ozzie，azkaban：定时任务调度的⼯具。 Hue，Zepplin：图形化任务执⾏管理，结果查看⼯具。 Scala语⾔：编写Spark程序的最佳语⾔，当然也可以选择⽤Python。 Python语⾔：编写⼀些脚本时会⽤到。 Allluxio，Kylin等：通过对存储的数据进⾏预处理，加快运算速度的⼯具。 以上⼤致就把整个⼤数据⽣态⾥⾯⽤到的⼯具所解决的问题列举了⼀遍，知道了他们为什么⽽出现或者说出现是为了解决什么问题，进⾏学 习的时候就有的放⽮了。 正⽂ ⼀、⼤数据相关⼯作介绍 ⼤数据⽅向的⼯作⽬前主要分为三个主要⽅向： ⼤数据⼯程师 数据分析师 ⼤数据科学家 其他（数据挖掘等） ⼆、⼤数据⼯程师的技能要求 附上⼤数据⼯程师技能图： 必须掌握的技能11条 Java⾼级(虚拟机、并发) Linux 基本操作 Hadoop（HDFS+MapReduce+Yarn ） HBase（JavaAPI操作+Phoenix ） Hive(Hql基本操作和原理理解） Kafka Storm/JStorm Scala Python Spark (Core+sparksql+Spark streaming ） 辅助⼩⼯具(Sqoop/Flume/Oozie/Hue等) ⾼阶技能6条 机器学习算法以及mahout库加MLlib R语⾔ Lambda 架构 Kappa架构 Kylin Alluxio 三、学习路径 假设每天可以抽出3个⼩时的有效学习时间，加上周末每天保证10个⼩时的有效学习时间； 3个⽉会有（213+4210）3=423⼩时的学习时间。 第⼀阶段（基础阶段） 1）Linux学习（跟鸟哥学就ok了）-----20⼩时 Linux操作系统介绍与安装。 Linux常⽤命令。 Linux常⽤软件安装。 Linux⽹络。 防⽕墙。 Shell编程等。 2）Java ⾼级学习（《深⼊理解Java虚拟机》、《Java⾼并发实战》）---30⼩时 掌握多线程。 掌握并发包下的队列。 了解JMS。 掌握JVM技术。 掌握反射和动态代理。 3）Zookeeper学习 Zookeeper分布式协调服务介绍。 Zookeeper集群的安装部署。 Zookeeper数据结构、命令。 Zookeeper的原理以及选举机制。 第⼆阶段（攻坚阶段） 4）Hadoop （《Hadoop 权威指南》）---80⼩时 HDFS HDFS的概念和特性。 HDFS的shell操作。 HDFS的⼯作机制。 HDFS的Java应⽤开发。 MapReduce 运⾏WordCount⽰例程序。 了解MapReduce内部
Azkaban学习指南
huoji1990的博客
08-21 3126
1. Azkaban是什么？Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置...
Azkaban学习之路
kebexue的博客
12-28 6461
概述： Azkaban是在LinkedIn上创建的批处理工作流作业调度程序，用于运行Hadoop作业。Azkaban通过作业依赖性解决订单，并提供易于使用的Web用户界面来维护和跟踪您的工作流程 特点： 1）提供可视化界面--web界面 2）工作流->jar包 3) 设置任务间的关系 4）权限设置 5）模块化 6）随时启停任务 7）课查看日志记录 兼容任何版本的Hadoo...
Azkaban学习（一）Azkaban的基础介绍
potter
05-11 487
1、为什么需要工作流调度器（1）一个完整的数据分析系统通常都是由大量任务单元组成： shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等（2）各任务单元之间存在时间先后及前后依赖关系（3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行例如，我们可能有这样一个需求，某个业务系统每天产生 20G 原始数据，我们每天都要对其进行处理，处理步骤如下所示：　...
Azkaban学习之路 （一）Azkaban的基础介绍
weixin_30808693的博客
04-15 70
一、为什么需要工作流调度器 1、一个完整的数据分析系统通常都是由大量任务单元组成： shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等 2、各任务单元之间存在时间先后及前后依赖关系 3、为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行 例如，我们可能有这样一个需求，某个业务系统每天产生 20G 原始数据，我们每天都要对其进行处理，处理步骤如...
Flink(Java版)学习
yk19904的博客
03-06 5004
flink简介等
ClickHouse从入门到精通(高级)
yk19904的博客
02-18 663
第1章 Explain查看执行计划 第2章 建表优化 第3章 ClickHouse语法优化规则 第4章 查询优化 第5章 数据一致性(重点) 第6章 物化视图 第7章 MaterializeMySQL引擎 第8章 常见问题排查
ClickHouse监控及备份
最新发布
yk19904的博客
02-18 636
第1章 ClickHouse监控概述 第2章 Prometheus&Grafana的安装 第3章 ClickHouse配置 第4章 Grafana集成Prometheus 第5章 备份及恢复
ClickHouse从入门到精通(初级)
yk19904的博客
02-18 409
第一章ClickHouse入门 第二章ClickHouse的安装 第三章数据类型 第四章表引擎 第五章SQL操作 第六章副本 第七章分片集群
Scala基础学习
yk19904的博客
05-15 357
一、Scala概述 1.学习scala原因 范式：即编程方式，如面向对象编程，函数式编程 2.Scala语言诞生小故事 3.Scala和Java以及JVM的关系分析图 4.Scala语言的特点 5.Windows下搭建Scala开发环境 6.Linux下搭建Scala开发环境 7.Scala开发工具的介绍 8.Scala快速开发入门
MapReduce基础学习
yk19904的博客
12-22 344
一、MapReduce概述 1.MapReduce定义 2.MapReduce优缺点 ——优点 ——缺点 3.MapReduce核心思想 4.MapReduce进程 5.官方WordCount源码 6.常用数据序列化类型 7.MapReduce编程规范 8.WordCount案例实操
SparkStreaming基础学习
yk19904的博客
07-15 266
一、SparkStreaming概述 1.Spark Streaming是什么 2.Spark Streaming的特点 3.Spark Streaming架构 二、Dstream入门 1.WordCount案例实操 2.WordCount 解析
Spark SQL基础学习
yk19904的博客
07-12 246
一、SparkSQL概述 1.SparkSQL是什么 2.Hive and SparkSQL 3.SparkSQL特点 4.DataFrame 是什么 5.DataSet 是什么 二、SparkSQL核心编程 1.新的起点 2.DataFrame ...
Hive基础学习
yk19904的博客
04-11 219
一、Hive基本概念 1.什么是 Hive 2.Hive的优缺点 3.Hive架构原理 4.Hive和数据库比较 二、Hive 安装 1.Hive安装地址 2.Hive 安装部署
azkaban springboot
09-19
Azkaban是一个开源的批量工作流任务调度器，它提供了一个web界面来管理和监控调度任务。在Spring Boot中开发Azkaban调度任务，你可以通过以下步骤实现： 1. 首先，你需要安装和配置Azkaban服务。在上篇文章中已经...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值