Hadoop补充之Azkaban自动化调度实现

已于 2022-02-18 17:09:39 修改
阅读量1k 收藏
点赞数
分类专栏： Hadoop学习 文章标签： hadoop 自动化 big data
于 2022-02-18 17:09:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46490924/article/details/123007339
版权
本文档详细介绍了使用Azkaban进行数据清洗、入库及分析的自动化流程，包括上传jar包、编写job文件、执行SQL、配置自动化服务等步骤，并在遇到问题时进行了错误排查与修复，最终实现了Mr和Hive阶段的成功运行。
摘要由CSDN通过智能技术生成

目录

一、数据清洗调度

1.上传所需jar包

2.job文件写入

二、数据入库且数据分析调度

1.job文件写入

2.上传sql文件 

3.打包

三、实现自动化

1.开启exec服务

 2.激活exec服务

3.开启web服务 

4.登录Azkaban 

5.新建一个项目上传压缩包

 6.查看项目结构

8.运行出错 

9.重新运行无效

 10.Mr阶段运行成功

 11.Hive阶段检查出代码有误漏写分号

 12.查看结果

一、数据清洗调度

1.上传所需jar包

2.job文件写入

二、数据入库且数据分析调度

1.job文件写入

2.上传sql文件 

3.打包

三、实现自动化

在开启azkaban调度前将hive数据仓库中的weblog数据库删除

1.开启exec服务

 2.激活exec服务

curl -G "localhost: 38978/executor?action=activate" && echo

3.开启web服务 

4.登录Azkaban 

5.新建一个项目上传压缩包

 6.查看项目结构

7.开始运行

8.运行出错 

查阅多个资料，需要指定azkaban.native.lib地址

9.重新运行无效

将azkaban.properties文件中azkaban.jobtype.plugin.dir的路径改为绝对路径

 10.Mr阶段运行成功

 11.Hive阶段检查出代码有误漏写分号

修改重新打包重新运行，运行成功

 12.查看结果

【课后作业】Azkaban 自动化调度
pengpengsays
09-22 359
最后，将完成的 Shell 脚本交由 Azkaban 进行自动化调度。具体步骤讲解如下。 MySQL 数据生成 在 Node02 节点的 MySQL 中执行 SQL，生成数据： mysql -uroot -pDBa2020* use mall; CALL init_data('2020-06-13',300,200,300,FALSE); Azkaban 任务编写 编写 Azkaban 运行 j...
Datax 与 Azkaban 实现数据抽取与调度
UnionIBM的博客
07-26 8472
1.什么是DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github DataX的安装省略 配置详情可见 https://github.com/alibab...
azkaban 3.43自动化安装脚本
06-14
本脚本为azkaban3.43自动化部署脚本，需先自己安装mysql数据库并执行相关的导入sql脚本create-all-sql-3.43.sql，之后用root用户执行自动化脚本：azkaban3.43_install.sh（执行过程中会提示输入项目的数据库信息：ip,user,password,database.创建数据库时请记录!）
Azkaban自动化调度
fishinhouse的专栏
11-19 340
1、准备执行的SQL文件（扩展名=.sql） 2、上传SQL文件到Azkaban下的自定义目录 /opt/module/azkaban/pg_sqldir 3、创建Job任务文件（扩展名=.job） type = command command = psql "host=IP地址 port =端口 user = 用户名 password = 密码 dbname=数据库" -f /opt/module/azkaban/pg_sqldir/xxx.sql 4、压缩上面的Job任务文件为同名ZIP格
hadoop独立模式
weixin_30716725的博客
06-06 192
参考博客：http://my.oschina.net/winHerson/blog/121963 eclipse远程调试：http://zhangjie.me/eclipse-debug-hadoop/ 百度文档：http://wenku.baidu.com/link?url=13x1F92KXZt4Q2iLKfsu-kgRq64Nx-bKNM2eMV7wnxss2Rd1Al7XXRuDiEE...
Hadoop入门之自动化定时调度之Azkaban部署及使用
筑梦者
05-31 8505
azkaban的部署使用及如何结合项目的使用思考 1  部署azkaban 1.1 准备工作,下载相关安装包,这里我使用的是2.5版本的 官方:http://azkaban.github.io/downloads.html 还需要一个jdbc的连接jar包: 链接：http://pan.baidu.com/s/1dFe8avJ 密码：0pjh 我
Azkaban任务调度安装配置和使用
03-28
对于此类需求，Azkaban能够帮助自动化执行这一系列任务，无需人工干预，从而提高工作效率和准确性。 ##### 1.3 常见工作流调度系统 常见的工作流调度系统包括： - **简单的任务调度**：使用crontab等工具实现； -...
Azkaban 大数据任务调度器
09-28
总而言之，Azkaban作为一个强大的工作流调度器，能够有效地管理和自动化大数据处理流程中的任务执行，提高效率并减少人为错误，尤其适合需要复杂依赖关系和顺序执行的工作流场景。通过其独特的设计和丰富的特性，...
azkaban调度
07-04
5. **命令行工具**：除了Web界面，Azkaban还提供了命令行工具，方便用户通过脚本自动化提交和管理作业。 6. **邮件通知**：当作业完成、失败或达到特定状态时，Azkaban可以发送邮件通知，帮助团队及时了解工作流的...
大数据处理平台中Azkaban工作流管理与Hive任务调度的实现与应用
最新发布
01-20
首先通过启动并初始化 Azkaban的相关组件（Executor Server 和 Web Server），随后展示了具体的作业创建工作流项目，包括创建和打包job文件（如wordcount和test.sql），以及上传到Azkaban平台并执行相应的任务流程...
sh中执行sql脚本
04-29
NULL 博文链接：https://cuityang.iteye.com/blog/2410788
Azkaban调度工具，里面包含Azkaban安装包及依赖包
06-18
此Azkaban是在官网上下载后经过编译的，Azkaban安装包版本为3.56.0,包含了依赖包。只需解压即可使用。
Hadoop2.6.0自动化部署脚本（一）---神算子
senvil的专栏
10-21 4789
1 概述最近自己写了一个Hadoop自动化部署脚本，包括Hadoop集群自动化部署脚本和Hadoop增加单节点自动化部署脚本。需要快速部署Hadoop集群的童鞋可以使用该脚本。这些脚本我在用5台虚拟机进行了测试，如果在使用中还有bug，欢迎指出。本文主要介绍Hadoop集群自动化部署脚本，安装的Hadoop版本为2.6.0。2 依赖安装Hadoop2.6.0集群需要依赖JDK和Zookeeper。本
Azkaban
hujinqiu1071686579的博客
05-05 622
Azkaban 一 概述 1.1 什么是Azkaban Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的Dependencies 来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作...
azkaban调度SQL代码
fwj_ntu的博客
07-16 1840
1. azkaban上新建一个project 登录azkaban后，右上角有个Create Project的按钮，点解后录入项目信息。 2.上传项目文件 前人经验，这里应该上传一个.zip的压缩文件，并且你这个.zip的压缩文件里面不要有文件目录，直接是文件。 这个压缩文件里有2个文件，一个是run.sh的脚本，一个是.job的文件。 脚本文件中存储一些认证的信息，以及文件目录等信息 kl...
azkaban定时调度sql脚本初体验
qq_41495340的博客
07-06 939
需求：数仓项目需要我每天定时执行集群中的sql脚本文件 我需要把这个项目中的（三个分层）文件放入，因为每天基本上是定时跑这三个文件 第一步，编写job脚本 #before job build project type=command command=su hdfs -c "/data/apps/warehouse-schema/build.sh" retries=10 ##失败的job的自动重试的次数 retry.backoff=120000 ##重试的间隔（毫秒） 注意各个文件之间的依
Hadoop - Azkaban 作业调度
weixin_34088583的博客
02-15 212
1.概述 　　在调度 Hadoop 的相关作业时，有以下几种方式： 基于 Linux 系统级别的 Crontab。 Java 应用级别的 Quartz。 第三方的调度系统。 自行开发 Hadoop 应用调度系统。 　　对于前两种，使用 Crontab 和 Quartz 是基本可以满足业务需求，但有其弊端。在 Job 数量庞大的情况下，Crontab 脚本的编写，变得异常复杂。其...
调度系统之Azkaban
youziguo的专栏
07-30 1128
用户通过 Web 界面或编写配置文件定义工作流。工作流由多个任务组成，这些任务可以有依赖关系。
（40）Azkaban调度
song_quan_的博客
07-14 224
1.Azkaban安装，上网搜，有很多可以操作的博客 2 创建 MySQL 数据库和表 1）创建 gmall_report 数据库 注:SQL 语句 CREATE DATABASE `gmall_report` CHARACTER SET 'utf8' COLLATE 'utf8_general_ci'; 2）创建表 （1）创建用户主题表 DROP TABLE IF EXISTS `ads_user_topic`; CREATE TABLE `ads_user_topi
Azkaban：大数据任务调度利器，打造自动化工作流
6. 自动化调度：对于夜间执行的任务，Azkaban允许用户通过脚本设置定时任务，自动调度工作流，避免了人工干预和频繁监控。 Azkaban作为一款高效的大数据任务调度器，极大地简化了大数据处理工作流的管理和执行，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值