Hadoop 06——任务调度系统Azkaban、数据库迁移工具Sqoop的使用

最新推荐文章于 2024-07-30 07:30:00 发布
最新推荐文章于 2024-07-30 07:30:00 发布
阅读量2k 收藏 3
点赞数
分类专栏： 大数据基础 文章标签： 大数据 hadoop Azkaban Sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36079912/article/details/105262575
版权

文章目录

1. Azkaban介绍

1.1. 为什么需要Azkaban

一个完整的数据分析系统通常都是由大量任务单元组成

  • shell脚本程序
  • java程序
  • mapreduce程序
  • hive脚本等

各任务单元之间存在时间先后及前后依赖关系, 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

  1. 通过Hadoop先将原始数据同步到HDFS上；
  2. 借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
  3. 需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
  4. 将明细数据进行各种统计分析，得到结果报表信息；
  5. 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。
    在这里插入图片描述

1.2. 常见工作流调度系统

简单的任务调度：直接使用linux的crontab来定义；
复杂的任务调度:在hadoop领域，常见的工作流调度器有Oozie,Azkaban,Cascading, 等

1.3. 各种调度工具特性对比

下面的表格对上述四种hadoop工作流调度器的关键特性进行了比较，尽管这些工作流调度器能够解决的需求场景基本一致，但在设计理念，目标用户，应用场景等方面还是存在显著的区别，在做技术选型的时候，可以提供参考
在这里插入图片描述

1.5. Azkaban 是什么

Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。
Azkaban定义了一种KV文件(properties)格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
它有如下功能特点：

  • Web用户界面
  • 基于时间的执行任务
  • 方便上传工作流
  • 方便设置任务之间的关系
  • 工作流和任务的日志记录和审计

2. 安装

2.1. 编译

我们这里选用azkaban3.51.0这个版本自己进行重新编译，编译完成之后得到我们需要的安装包进行安装
注意：我们这里编译需要使用jdk1.8的版本来进行编译，如果编译服务器使用的jdk版本是1.7的，记得切换成jdk1.8，我们这里使用的是jdk8u141这个版本来进行编译
下边的这段编译很耗时，一般直接使用编译好之后的文件，不直接编译。

cd /export/softwares/
wget https://github.com/azkaban/azkaban/archive/3.51.0.tar.gz
tar ‐zxvf 3.51.0.tar.gz ‐C ../servers/
cd /export/servers/azkaban‐3.51.0/
yum ‐y install git
yum ‐y install gcc‐c++
./gradlew build installDist ‐x test

在这里插入图片描述
编译完成后得到如下文件：

azkaban-exec-server

编译完成之后得到我们需要的安装包在以下目录下即可获取得到
azkaban-exec-server存放目录

/export/servers/azkaban‐3.51.0/azkaban‐exec‐server/build/distributions

在这里插入图片描述
在这里插入图片描述

azkaban-web-server

azkaban-web-server存放目录

/export/servers/azkaban‐3.51.0/azkaban‐web‐server/build/distributions

在这里插入图片描述

azkaban-solo-server

azkaban-solo-server存放目录

/export/servers/azkaban-3.51.0/azkaban-solo-server/build/distributions

在这里插入图片描述

execute-as-user.c

azkaban two server模式下需要的C程序在这个路径下面

/export/servers/azkaban‐3.51.0/az-exec-util/src/main/c

数据库脚本文件

数据库脚本文件在这个路径下面

/export/servers/azkaban‐3.51.0/azkaban‐db/build/install/azkaban‐db

在这里插入图片描述

2.2. Azkaban 单服务模式安装与使用

所需软件 : azkaban-solo-server

Step 1: 解压

azkaban 的solo server使用的是一个单节点的模式来进行启动服务的，只需要一个
azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz的安装包即可启动，所有的数据信息都是保存在H2这个azkaban默认的数据当中，
上传我们的压缩包，然后修改配置文件启动即可

cd /export/softwares
tar ‐zxvf azkaban‐solo‐server‐0.1.0‐SNAPSHOT.tar.gz ‐C ../servers/

Step 2: 修改时区配置文件

cd /export/servers/azkaban‐solo‐server‐0.1.0‐SNAPSHOT/conf
vim azkaban.properties
```shell

```properties
default.timezone.id=Asia/Shanghai

在这里插入图片描述

修改commonprivate.properties配置文件

cd /export/servers/azkaban‐solo‐server‐0.1.0‐SNAPSHOT/plugins/jobtypes
vim commonprivate.properties
```shell
```properties
execute.as.user=false
memCheck.enabled=false

在这里插入图片描述

Step 3: 启动solo-server

启动azkaban-solo-server

cd /export/servers/azkaban‐solo‐server‐0.1.0‐SNAPSHOT
bin/start‐solo.sh

Step 4: 浏览器页面访问

浏览器页面访问
http://node01:8081/
在这里插入图片描述

单服务模式使用

需求：使用azkaban调度我们的shell脚本，执行linux的shell命令

在这里插入图片描述
在这里插入图片描述
创建普通文本文件 foo.job，文件内容如下

type=command
command=echo "hello world"

然后将这个文件打包为压缩文件，如下：
在这里插入图片描述
azkaban上传我们的压缩包
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.3. Azkaban 两个服务器模式安装与使用

需要的工具
Azkaban Web服务安装包 azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
Azkaban执行服务安装包 azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
编译之后的sql脚本 create-all-sql-0.1.0-SNAPSHOT.sql
在这里插入图片描述
C程序文件脚本 execute-as-user.c程序

Step 1: 数据库准备

进入mysql的客户端执行以下命令

mysql ‐uroot ‐p

执行以下命令：

CREATE DATABASE azkaban;
CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';
GRANT all privileges ON azkaban.* to 'azkaban'@'%' identified by'azkaban' WITH GRANT OPTION;
flush privileges;
use azkaban;
source /export/software/create‐all‐sql‐0.1.0‐SNAPSHOT.sql;

Step 2: 解压软件包

解压软件安装包

  • 解压azkaban-web-server
cd /export/softwares
tar ‐zxvf azkaban‐web‐server‐0.1.0‐SNAPSHOT.tar.gz ‐C ../servers/
cd /export/servers
mv azkaban‐web‐server‐0.1.0‐SNAPSHOT/ azkaban‐web‐server‐3.51.0
* 解压azkaban‐exec‐server
```shell
cd /export/softwares
tar ‐zxvf azkaban‐exec‐server‐0.1.0‐SNAPSHOT.tar.gz ‐C ../servers/
cd /export/servers
mv azkaban‐exec‐server‐0.1.0‐SNAPSHOT/ azkaban‐exec‐server‐3.51.0

Step 3: 安装SSL安全认证

安装ssl安全认证，允许我们使用https的方式访问我们的azkaban的web服务
密码一定要一个个的字母输入，或者粘贴也行
cd /export/servers/azkaban-web-server-3.51.0
keytool -keystore keystore -alias jetty-genkey-keyalg RSA

Step 4: azkaban web server安装

修改azkaban-web-server的配置文件

cd /export/servers/azkaban‐web‐server‐3.51.0/conf
vim azkaban.properties

# Azkaban Personalization Settings
azkaban.name=Azkaban
azkaban.label=My Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manag
最低0.47元/天 解锁文章
ICoder_Next
关注
专栏目录
数据仓库之【商品订单数据数仓】11：任务调度：Crontab任务调度器、Azkaban调度器、数仓使用Azkaban
weixin_40612128的博客
03-13 3212
一、任务调度 针对数据仓库中的任务脚本我们前面已经整理过了，任务脚本还是比较多的，针对初始化表的脚本只需要执行一次即可，其它的脚本需要每天都执行一次，这个时候就需要涉及到任务定时调度了。 二、Crontab调度器的使用 咱们前面在学习Linux的时候学过一个crontab调度器，通过它可以实现定时执行指定的脚本。 针对我们这个数据仓库中的这些脚本使用crontab进行调度是可以的。 但是需要注意一点：这些任务之间是有一些依赖关系的，从大的层面上来说，dwd层的任务需要等ods层的任务执行成功之后才能开始执行
Hadoop任务调度器
02-23
Hadoop任务调度器 基础知识 • Hadoop调度流程 • Hadoop自带调度器介绍 • 编写自己的Hadoop调度器 • 总结
DataWorks搬站方案：Azkaban作业迁移至DataWorks
阿里云开发者
04-29 575
简介：DataWorks迁移助手提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。本文主要介绍如何将开源Azkaban工作流调度引擎中的作业迁移至DataWorks上。DataWorks迁移助手提供任务搬站功能，支持将开源调度引擎Oozie、Azkaban、Airflow的任务快速迁移至DataWorks。本文主要介绍如何将开源Azkaban工作流调度引擎中的作业迁移至DataWorks上。支持迁移的Azkaban版本支持全部版本的Azkaba
调度系统之Azkaban
最新发布
youziguo的专栏
07-30 1053
用户通过 Web 界面或编写配置文件定义工作流。工作流由多个任务组成，这些任务可以有依赖关系。
Hadoop下的调度工具
Albert_ycl的博客
02-27 814
Hadoop下的调度工具制作Azkaban作业调度，包含job、Flow之间的依赖关系，并成功执行:第一步：到相应的host4上su – Azkaban第二步：建各个job.第三步：根据需求先画出需求图:Flow需求图：整体需求图：然后根据图片写job:-----vi a.job#a.jobtype = commandcommand = echo “此时此刻的我想吟诗一首：念奴娇·赤壁怀古”---...
Azkaban执行Sqoop任务
weixin_43326165的博客
09-26 1987
Azkaban执行Sqoop任务 只能调度Sqoop的脚本 .project文件 azkaban-flow-version: 2.0 .flow nodes: - name: insert_RDS_sales_order_data type: command config: command: /opt/moudle/sqoop/bin/sqoop --optio...
大数据环境包含hadoop+hive+sqoop数据迁移+azkaban任务调度
09-10
3. Sqoop：Sqoop是一个用于在Hadoop和传统关系型数据库管理系统（RDBMS）之间导入导出数据的工具。它可以高效地批量传输数据，支持多种数据库如MySQL、Oracle等。通过Sqoop，用户可以在大数据环境与传统数据库间进行...
azkaban调度工具和sqoop的使用，以及通过java代码执行linux的shell命令
KujyouRuri的博客
03-31 544
Command类型多job工作流flow 第一个job: foo.job type=command command=echo 'hello world' 第二个job:bar.job type=command command=echo 'bar job' dependencies=foo 格式均为UTF-8不带BOM 一起打包： 登录azkaban提交工程任务： 根据需要禁用和使用父类子类的依赖： 执行任务： HDFS的操作任务 创建hdfs.job: type=command command
任务调度工具调研报告 --- Azkaban、Oozie、Airflow、DolphinScheduler
杨鑫newlife的专栏
07-28 9976
零、结论 这次分别调研了 Azkaban、Oozie、Airflow、DolphinScheduler 从四十多个角度来对比，作为程序员来看我会选择Azkaban来作为调度工具。不仅是为了收集相关元数据，支持复杂的依赖子任务的关系，还有二次开发或者开发对应的插件，以及监控报警等。 但是如果从可视化，易用的角度我会选择DophinScheduler； 一、需求 跑批任务调度； 脚本相关任务调度； 定时调度； SQL任务； 实时处理；..
azkaban一个批量工作流的任务调度器
01-22
一个批量工作流任务调度器，提供功能清晰，简单易用的Web UI界面 提供job配置文件快速建立任务和任务之间的依赖关系 提供模块化和可插拔的插件机制，原生支持command、Java、Hive、Pig、Hadoop 基于Java开发，代码结构清晰，易于二次开发
生产环境下Azkaban调度Sqoop，将数据从MySQL导入到hive中的过程分析
DaDiNiWangGe的博客
02-21 748
1.只用Sqoop 用于关系型数据库如mysql与非关系型数据库间数据的导入导出，要注意空值的处理。 Sqoop将mysql数据导出到hive中，需要经过两步， sqoop直接导入hive中其实他底层会做两件事，1，数据到hdfs 2.hdfs到hive 而且都是mr（由于他的底层就是Map） 2.使用Azkaban调度 azkaban调度Sqoop： 由azkaban调度Sqoop将mysql导...
第三节：大数据协作框架 - Sqoop、Flume、Oozie《03->任务调度框架Oozie》
Guardian
10-07 400
待补充
大数据学习 azkaban，sqoop
chenzhai7583的博客
10-31 136
azkaban工作流调度器 1.解压 azkaban,server,executor 2.导入脚本，创建数据库表 3.创建秘钥，将秘钥放入server根目录 4，统一时区 5.配置azkaban.properties,配置user.xml 6.配置executor的azkab...
6.azkban的监控
weixin_30483013的博客
08-30 287
azkaban自带的监控flow自带的邮件功能SLA总结写程序监控job情况监控azkaban的元数据库使用azkaban API监控总结 azkaban自带的监控 azkban目前仅仅支持邮件监控,又分两个部分: flow自带的邮件功能 First failure 当flow中出现第一个failure时发邮件 Flow finished 在flow...
Azkaban 升级
weixin_33690963的博客
05-07 193
为什么80%的码农都做不了架构师？>>> ...
mysql 数据迁移以及数据导入导出
peng_0129的博客
11-09 207
scp -r /home/User/circ.tar root@10.2.3.3:/home/   密码circ1815 tar -cvf circ.tar circ/  压缩  tar -xvf circ.tar        解压tar包 my.cnf 位置 opt/my.cnf 导出整个数据库(三个数据库,如果有试图和存储过程没有创建就手动创建) mysqldump -u root -p...
Flume介绍调度器基础sqoop基础知识
woaini886353的博客
05-10 1573
在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 1. 日志采集框架Flume 1.1 Flume介绍 1.1.1 概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafk
Azkaban 3.59.x：大数据分析中的极简调度解决方案
Azkaban 3.59.x 是一款针对大数据分析场景的高效工作流调度工具，特别适合在 Extract, Transform, and Load (ETL) 过程中管理和优化任务执行顺序。在传统的ETL流程中，数据从关系型数据库（RDBMS）经由Sqoop导入到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值