azkaban安装使用

最新推荐文章于 2024-04-05 14:24:30 发布
最新推荐文章于 2024-04-05 14:24:30 发布
阅读量2.3k 收藏 3
点赞数 1
分类专栏： 大数据生态安装 文章标签： hadoop 大数据 hive linux centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tktttt/article/details/114396834
版权

azkaban安装使用

一、安装

1. 准备工作

1.1 下载

下载软件源码：
https://github.com/azkaban/azkaban
或是
https://github.com/azkaban/azkaban/releases

下载插件源码
https://github.com/azkaban/azkaban-plugins

下载的.zip包，则安装环境中需要在root用户下安装unzip，用于解压，命令如下：yum -y install unzip

本文选择的软件包是azkaban-3.90.0.tar.gz，插件包是azkaban-plugins-3.0.0.zip（在本文安装过程中，发现插件包有问题，其实别用插件包为好，直接用源码包中的部分内容即可，插件包无需下载了）

root安装git：yum install -y git gcc-c++，不安装会导致之后源码包编译失败：

Failed to apply plugin [id 'com.cinnober.gradle.semver-git']

1.2 环境要求

有安装hadoop、hive、mysql等，本文的hadoop、hive等集成了kerberos（即为安全集群）

2. 配置

2.1 软件配置

解压tar -zxvf azkaban-3.83.0.tar.gz，

### 进入到其解压的根目录(本文为`/usr/local/software/azkaban-3.90.0/`)
###
[rd@hadoop-server-002 /]$ cd /usr/local/software/azkaban-3.90.0/
### 执行命令如下命令进行编译：`./gradlew build installDist -x test`
###
[rd@hadoop-server-002 azkaban-3.90.0]$ ./gradlew build installDist -x test

每个组件的包在自己的目录里，这些目录里有build/distributions，构建结果就在这里，有tar包和zip包两种。

###  分别进/usr/local/software/azkaban-3.90.0/下的
###  azkaban-exec-server/build/distributions/、
###  azkaban-web-server/build/distributions/、
###  azkaban-db/build/distributions/中，
###  将其下的tar包拷贝到同一个目录(本文为/usr/local/apps/azkaban/)
###
cp /usr/local/software/azkaban-3.90.0/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz /usr/local/apps/azkaban/
cp /usr/local/software/azkaban-3.90.0/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz /usr/local/apps/azkaban/
cp /usr/local/software/azkaban-3.90.0/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz /usr/local/apps/azkaban/


###  之后分别解压拷贝过来的
###  azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz、
###  azkaban-db-0.1.0-SNAPSHOT.tar.gz、
###  azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
###
cd /usr/local/apps/azkaban/
tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
tar -zxvf azkaban-db-0.1.0-SNAPSHOT.tar.gz
tar -zxvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz

### 并分别重命名###
mv azkaban-web-server-0.1.0-SNAPSHOT azkaban-web-server
mv azkaban-exec-server-0.1.0-SNAPSHOT azkaban-exec-server
mv azkaban-db-0.1.0-SNAPSHOT azkaban-db

另外注意：编译完的源码包别删，下面还有用

2.1.1 数据库准备

进入/usr/local/apps/azkaban/azkaban-db可以发现其中有一个create-all-sql-0.1.0-SNAPSHOT.sql的sql语句，如下：
在这里插入图片描述
进入mysql执行该语句：

#创建数据库azkaban（该数据库名随意，但之后修改azkaban的配置时需一致）
mysql> CREATE DATABASE azkaban;
mysql> use azkaban;
mysql> source /usr/local/apps/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql

之后查看mysql：
在这里插入图片描述

2.1.2 exec-server配置
2.1.2.1 exec的azkaban配置

进入/usr/local/apps/azkaban/azkaban-exec-server/conf，修改azkaban.properties

### 修改时区，
### 并注释如下部分，
### 该部分设置是web-server的个性化配置，exec-server用不到
###
# Azkaban Personalization Settings
#azkaban.name=Test
#azkaban.label=My Local Azkaban
#azkaban.color=#FF3601
#azkaban.default.servlet.path=/index
#web.resource.dir=web/
default.timezone.id=Asia/Shanghai

### 注释如下部分，该部分设置是web-server的用户管理类配置，exec-server用不到
###
# Azkaban UserManager class
#user.manager.class=azkaban.user.XmlUserManager
#user.manager.xml.file=conf/azkaban-users.xml

### 全局配置文件路径、以及项目文件路径地址，不做修改，默认
###
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

### 不做修改，默认
###
# Velocity dev mode
velocity.dev.mode=false

### 注释如下部分，
### 该部分设置是web-server的Jetty服务器属性配置，exec-server用不到
###
# Azkaban Jetty server properties.
#jetty.use.ssl=false
#jetty.maxThreads=25
#jetty.port=8081

### 修改如下为自身地址，端口默认即可
### （该端口应与web-server中配置的jetty.port一致）
###
# Where the Azkaban web server is located
azkaban.webserver.url=http://hadoop-server-002:8081

# mail settings
mail.sender=
mail.host=

# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache

### 默认即可
###
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true

### jobtype插件地址
###
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes

### mysql配置，修改如下为自身配置，database要与之前在mysql中建立的数据库名一致
###
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=hadoop-server-002
mysql.database=azkaban
mysql.user=root
mysql.password=awifi@123
mysql.numconnections=100

### executor配置
### 添加执行器端口设置executor.port，
### web-server中配置的executor.port应与该端口一致
###
# Azkaban Executor settings
executor.maxThreads=50
executor.flow.threads=30
executor.port=12321
2.1.2.2 execute-as-user.c编译
### 进入软件源码包所在路径：
###
cd /usr/local/software/azkaban-3.90.0/az-exec-util/src/main/c

### 将其下的execute-as-user.c文件拷贝到azkaban的安装目录，
### （该目录自己指定即可，但后文配置时需指向该目录）
###
cp execute-as-user.c /usr/local/apps/azkaban/

### 之后到azkaban的安装目录中
###
cd /usr/local/apps/azkaban


### 执行如下命令进行编译
###
gcc execute-as-user.c -o execute-as-user

之后查看该目录：
在这里插入图片描述
发现编译多出了一个execute-as-user文件

2.1.2.3 jobtype配置
### 进入软件源码包目录
###
cd /usr/local/software/azkaban-3.90.0/az-hadoop-jobtype-plugin/src/jobtypes

查看如下：
在这里插入图片描述

### 将其下除了spark的所有文件拷贝到azkaban/azkaban-exec-server的安装目录下的plugins/jobtypes下
### （因为未安装spark，若安装了spark则全部都拷贝）
###
cp -r * /usr/local/apps/azkaban/azkaban-exec-server/plugins/jobtypes/
cd /usr/local/apps/azkaban/azkaban-exec-server/plugins/jobtypes/
rm -rf spark/

编辑/usr/local/apps/azkaban/azkaban-exec-server/plugins/jobtypes/下的commonprivate.properties文件:

### hadoop安全验证类，hadoop1.x用HadoopSecurityManager_H_1_0，
### hadoop2.x以上用HadoopSecurityManager_H_2_0
###
## hadoop security manager setting common to all hadoop jobs
#hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_1_0
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0

### kerberos配置，修改为你自身的keytab文件与账户
###
## hadoop security related settings
# proxy.keytab.location=
# proxy.user=
proxy.keytab.location=/srv/kerberos/keytab/rd.keytab
proxy.user=rd/hadoop-server-003@HADOOP.COM

### 去掉注释
###
#是否开启用户代理
azkaban.should.proxy=true
#是否应该请求令牌，hadoop为安全集群时必须开启
obtain.binary.token=true
#是否获取namenode令牌
obtain.namenode.token=true
#是否获取jobtracker令牌
obtain.jobtracker.token=true

# global classpath items for all jobs. e.g. hadoop-core jar, hadoop conf
#jobtype.global.classpath=${hadoop.home}/*,${hadoop.home}/conf

# global jvm args for all jobs. e.g. java.io.temp.dir, java.library.path
#jobtype.global.jvm.args=

### 修改为你自身的hadoop、hive、spark目录，jobtype.global.classpath目录，
### 并添加hadoop.conf.dir，注意该配置项必需
### （或者在环境变量中添加HADOOP_CONF_DIR好像也可以，未验证）
###
# hadoop
hadoop.home=/usr/local/apps/hadoop
hadoop.conf.dir=/usr/local/apps/hadoop/etc/hadoop
jobtype.global.classpath=${hadoop.conf.dir},${hadoop.home}/share/hadoop/common/*,${hadoop.home}/share/hadoop/common/lib/*,${hadoop.home}/share/hadoop/mapreduce/*,${hadoop.home}/share/hadoop/mapreduce/lib/*,${hadoop.home}/share/hadoop/yarn/*,${hadoop.home}/share/hadoop/yarn/lib/*,${hadoop.home}/share/hadoop/hdfs/*,${hadoop.home}/share/hadoop/hdfs/lib/*
#pig.home=
#hive.home=
hive.home=/usr/local/apps/hive
#spark.home=

# configs for jobtype security settings

### 修改为false
###
# set execute-as-user
execute.as.user=false

### 指向你编译出的execute-as-user文件目录地址
### 
#azkaban.native.lib=
azkaban.native.lib=/usr/local/apps/azkaban

修改common.properties文件，将hadoop.home等改为自己的目录，并添加hadoop.conf.dir配置：

## everything that the user job can know

hadoop.home=/usr/local/apps/hadoop
hadoop.conf.dir=/usr/local/apps/hadoop/etc/hadoop
hive.home=/usr/local/apps/hive
#pig.home=
#spark.home=

#azkaban.should.proxy=
2.1.3 web-server配置
2.1.3.1 web的azkaban配置

进入/usr/local/apps/azkaban/azkaban-web-server/conf，修改azkaban.properties

### 修改时区，
### web.resource.dir修改为绝对路径，指向azkaban-web-server下的web/目录
### 其余也可个性化修改
###
# Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/usr/local/apps/azkaban/azkaban-web-server/web
default.timezone.id=Asia/Shanghai

### 保持默认，web端用户管理配置，可在azkaban-users.xml中编辑登录用户的信息
###
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml

### 全局配置文件路径、以及项目文件路径地址，不做修改，默认
###
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

### 不做修改，默认
# Velocity dev mode
velocity.dev.mode=false

### jetty设置
### jetty.port网页端口，应与exec-server中配置的azkaban.webserver.url一致
###
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081

### 执行器端口，应与exec-server中配置的executor.port一致
###
# Azkaban Executor settings
executor.port=12321

### 保持默认
# mail settings
mail.sender=
mail.host=

### 保持默认
###
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache

### 保持默认
###
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true

### 修改为与exec-server中配置的mysql属性一致
###
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=hadoop-server-002
mysql.database=azkaban
mysql.user=root
mysql.password=awifi@123
mysql.numconnections=100

### 多个Executor时必须配以下参数设置，并且在filters中去掉MinimumFreeMemory，其他默认
### 在每次分发job时，先过滤出满足条件的executor，然后再做比较筛选
### 如最小剩余内存,MinimumFreeMemory,过滤器会检查executor空余内存是否会大于6G，如果不足6G，则web-server不会将任务交由该executor执行。可参考Azkaban Github源码
### 如CpuStatus，过滤器会检查executor的cpu占用率是否达到95%，若达到95%，web-server也不会将任务交给该executor执行。可参考Azkaban Github源码。
### 参数含义参考官网说明
### http://azkaban.github.io/azkaban/docs/latest/#configuration
###
#Multiple Executor
azkaban.use.multiple.executors=true
#azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
# 由于是虚拟机，不需要过滤，只需要比较即可
# 某个任务是否指定了executor id
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
# 是否比较内存
azkaban.executorselector.comparator.Memory=1
# 是否最后一次被分发
azkaban.executorselector.comparator.LastDispatched=1
# 是否比较CPU
azkaban.executorselector.comparator.CpuUsage=1

3. 启动

3.1 修改启动脚本

3.1.1 修改exec-server的启动脚本：

vi /usr/local/apps/azkaban/azkaban-exec-server/bin/internal/internal-start-executor.sh
找到下面部分，将其中的CLASSPATH部分改为你自身的hadoop环境：

if [ "$HADOOP_HOME" != "" ]; then
        echo "Using Hadoop from $HADOOP_HOME"
        CLASSPATH=$CLASSPATH:$HADOOP_HOME/etc/hadoop:$HADOOP_HOME/*:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/common/lib/*:$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*:$HADOOP_HOME/share/hadoop/yarn/*:$HADOOP_HOME/share/hadoop/yarn/lib/*:$HADOOP_HOME/share/hadoop/hdfs/*:$HADOOP_HOME/share/hadoop/hdfs/lib/*
        JAVA_LIB_PATH="-Djava.library.path=$HADOOP_HOME/lib/native/Linux-amd64-64"
else
        echo "Error: HADOOP_HOME is not set. Hadoop job types will not run properly."
fi
3.1.2 修改web-server的启动脚本

同理
vi /usr/local/apps/azkaban/azkaban-web-server/bin/internal/internal-start-web.sh
找到下面部分，将其中的CLASSPATH部分改为你自身的hadoop环境：

if [ "$HADOOP_HOME" != "" ]; then
        echo "Using Hadoop from $HADOOP_HOME"
        CLASSPATH=$CLASSPATH:$HADOOP_HOME/etc/hadoop:$HADOOP_HOME/*:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/common/lib/*:$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*:$HADOOP_HOME/share/hadoop/yarn/*:$HADOOP_HOME/share/hadoop/yarn/lib/*:$HADOOP_HOME/share/hadoop/hdfs/*:$HADOOP_HOME/share/hadoop/hdfs/lib/*
        JAVA_LIB_PATH="-Djava.library.path=$HADOOP_HOME/lib/native/Linux-amd64-64"
else
        echo "Error: HADOOP_HOME is not set. Hadoop job types will not run properly."
fi

3.2 命令启动关闭

先启动exec-server，后启动web-server，需要在其根目录运行启动命令。

若是想Multiple Executor方式启动，则将上面配置好的azkaban-exec-server分发到其他机器节点即可，然后在每一台上机器上都启动激活exec-server

启动exec-server，并激活：
激活命令如下：curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo

### 启动执行器
###
[rd@hadoop-server-002 aa]$ cd /usr/local/apps/azkaban/azkaban-exec-server/
[rd@hadoop-server-002 azkaban-exec-server]$ ./bin/start-exec.sh
###
### 激活执行器，也必须在根目录运行
###
[rd@hadoop-server-002 azkaban-exec-server]$ curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo

启动后，该目录如下：
在这里插入图片描述
再启动web-server：

[rd@hadoop-server-002 azkaban-exec-server]$ cd /usr/local/apps/azkaban/azkaban-web-server/
[rd@hadoop-server-002 azkaban-web-server]$ ./bin/start-web.sh

启动后该目录如下：
在这里插入图片描述

关闭命令（也需要在根目录执行）：

### 关闭web-server
###
[rd@hadoop-server-002 azkaban-web-server]$ ./bin/shutdown-web.sh
### 关闭exec-server
###
[rd@hadoop-server-002 azkaban-exec-server]$ ./bin/shutdown-exec.sh

注意：每次重启执行器exec-server，都需要重新激活，且重启web-server

登录访问web端：http://hadoop-server-002:8081/

桃橙柳
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
azkaban安装使用说明
cclovezbf的博客
04-30 202
1、安装git命令: yum install git 2、下载azkaban源码：git clone https://github.com/azkaban/azkaban.git 3、cd ./azkaban ./gradlew distTar 备注：这步我以前出错了，什么connection failed，repository canont findxxx 还各种修改gra...
【开源项目】Azkaban扩展插件azkaban-plugin-jobtype-sql
weixin_34352449的博客
01-23 609
2019独角兽企业重金招聘Python工程师标准>>> ...
Azkaban下载/安装及单机版配置详细教程
最新发布
majingbobo的博客
04-05 1242
3.5 在azkaban下找到需要的4个jar包文件，可以单独将此文件复制到azkaban下的某个单独的目录下，为后期azkaban的运行而使用（不复制也可以，只要用的时候知道从哪里找即可）注意：一定要在solo-server 的根目录执行 bin/start-solo.sh ，否则就会报找不到sql 一类的错误。例如：在/usr/local/software 目录下创建 azkaban-jar 目录，将四个文件复制到此目录下。在azkaban目录下的 azkaban-web-server 目录下执行。
azkaban安装插件
小白成小黑
04-04 2896
如何在Azkaban安装插件(二)温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的前面Fayson介绍了《如何编译安装Azkaban服务》和《如何编译Azkaban插件》及《如何在Azkaban中安装HDFS插件以及与CDH集成》，我们...
大数据Hadoop之——任务调度器Azkaban（Azkaban环境部署）
匠人精神，持之以恒！
03-21 7741
文章目录一、概述1）什么是任务调度？2）常见任务调度工具3）什么是Azkaban二、Azkaban 与 Oozie 对比三、Azkaban 运行模式及架构1）Azkaban Web Server2）Azkaban Executor Server3）关系型元数据库（MySQL）四、Azkaban安装部署1）solo server mode安装1、下载2、构建Azkaban安装包3、把编译好的包copy到其它目录3、启动服务4、web访问验证5、配置https并重启服务2）multiple executor m
azkaban安装配置
IAmListening的博客
06-21 1256
任务调度系统的比较 oozie 优势: 老牌任务调度系统, 稳定性高; cdh版本自动集成. 无需担心兼容性 劣势: 重量级, 任务调度依靠xml文件, 门槛较高, 不够灵活, 不易于二次开发和后期维护 kattle 优势 精细化控制, 可以自定义实现复杂功能 可以在windows上修改, 创建, 修改, 运行控制任务 劣势 很多需求要kattle在linux上运行, kattle的设计往往在w...
azkaban配置
行人事，知天命
04-08 6070
azkaban web server配置1. 主要配置 参数 说明 默认 azkaban.name azkaban网页UI显示名称 Local azkaban.label 对azkaban的描述 My Local Azkaban azkaban.color Azkaban UI的颜色设置 FF3601 web.resource.dir 页面的CS
Azkaban安装与使用
05-11
Azkaban安装与使用
azkaban安装
01-25
多执行器的安装 编译等等，简单的流程，比较使用于新手
azkaban安装配置_azkaban安装配置_
10-01
本文将深入讲解Azkaban的安装与配置过程，以及如何使用它来管理你的大数据任务。 **一、Azkaban简介** Azkaban由LinkedIn开发，它支持单个作业的执行，同时也可以处理有依赖关系的作业链。通过定义作业间的依赖关系...
Azkaban安装部署使用详细篇
12-24
开源调度工具Azkaban详细安装步骤及使用说明，该文档目前是最新版本3.39.0版，较之前的版本发生了很大变化，需要的同学可以下载，如有不正确的地方欢迎留言。
azkaban安装与配置
KamRoseLee的博客
11-11 571
azkaban安装与配置 以azkaban2.5为例： 1、MySQL安装与配置     sudo service mysqld start     mysql -u root -p a、为azkaban单独创建一个数据库：     CREATE DATABASE azkaban;      b、单独创建一个数据库用户     为了简单，我直接用root/hadoop%123，在生产上大家最...
二、azkaban 指南
jkdcdlly的专栏
11-19 4944
在3.0版本中，提供了三种模式：单服务模式，2个服务模式以及分布式多服务模式。以下描述了它们之间的差异。 在单服务模式下，数据库使用H2，并且web server 和 executor server 运行在同一进程中。此模式合适个人试用使用。它也可以用在小规模的使用案例。 下载并安装 Solo Server 包安装阿兹卡班插件 在 2个 server 模式适用在较重的生产环境。其数据
使用Azkaban过程中遇到的非常见问题以及解决办法
chengyuan54的博客
09-07 9909
使用azkaban3.9遇到的问题 启动azkaban并且安装插件遇到的问题 启动azkaban报错1： Could not find variable substitution for variable(s) [jobtype.classpath->hadoop.classpath] 错误信息： 1) Error injecting constructor, azkaban.jobtype.JobTypeManagerException: azkaban.jobtype.JobTypeM
启动Azkaban报错：java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap
andyguan01_2的博客
03-08 2941
问题描述： 启动Azkaban报错： java.lang.NoSuchMethodError:com.google.common.collect.ImmutableMap.toImmutableMap 解决方法： 从报错信息来看，是找不到toImmutableMap这个方法。首先找到类ImmutableMap对应的Jar包为guava，然后在服务器查找这个Jar包： find / -name &quot;g...
启动hadoop时JAVA_HOME is not set
weixin_43484977的博客
03-18 707
1.输入echo JAVA_HOME，查看java是否安装成功。 2.进入hadoop-env.sh文件 修改export JAVA_HOME=${JAVA_HOME}，不要带bin。 3.修改完了再重新尝试一次。
azkaban安装3.x出错Could not resolve com.cinnober.gradle:semver-git:2.2.3（未解决）然后安装git和azkaban2.5.0版本
C_time的博客
07-20 688
3.57.0版本azkaban 下载地址 https://github.com/azkaban/azkaban/archive/3.57.0.tar.gz 然后上传到服务器 然后解压到当前目录 就是home下· tar -zxvf /home/azkaban-3.57.0.tar.gz 然后查看一下解压好的目录ll 然后在[root@hadoop01 azkaban-3.57.0]# 目录下 使用...
踩坑记——Azkaban Hdfs Plugin 安装
BalaBalaYi的博客
10-24 3187
本文详细记录了：centos7.2, cdh 5.12 环境下azkaban 3.20.0 Hdfs插件的安装过程。因为官网文档在此部分的说明极为简陋，且3.x的插件需要源码构建并且问题诸多，因此留下此篇文章助诸位过坑。 官网文档：https://azkaban.github.io/azkaban/docs/latest/#hdfs-browser
azkaban安装部署
08-24
Azkaban是一个用于调度和监控工作流的开源工具。下面是一个简单的Azkaban安装部署步骤： 1. 安装Java：Azkaban是基于Java开发的，因此首先需要安装Java。确保您已经安装了Java Development Kit（JDK）。 2. 下载Azkaban：您可以从Azkaban的官方网站（https://azkaban.github.io/）下载最新的稳定版本。解压下载文件到您选择的目录。 3. 配置Azkaban：进入解压后的Azkaban目录，编辑 `azkaban.properties` 文件以配置Azkaban。主要配置项包括数据库连接、日志存储位置、端口号等。 4. 准备数据库：Azkaban使用MySQL或H2作为其后端数据库。您可以选择使用其中之一。如果选择使用MySQL，请先创建一个新的MySQL数据库。 5. 初始化数据库：运行 `bin/azkaban-sql-script/create-all-sqls.sql` 文件初始化数据库。如果使用MySQL，请将脚本中的 `CREATE DATABASE` 语句修改为您创建的数据库名称。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值