Hadoop入门之自动化定时调度之Azkaban部署及使用

本文详细介绍了Hadoop环境中Azkaban的部署步骤,包括配置环境、安装Azkaban、创建项目、设置定时任务等关键操作,旨在帮助初学者掌握Azkaban在大数据处理中的自动化定时调度功能。
摘要由CSDN通过智能技术生成
 azkaban的部署使用及如何结合项目的使用思考
1  部署azkaban
1.1 准备工作,下载相关安装包,这里我使用的是2.5版本的
还需要一个jdbc的连接jar包:
链接: http://pan.baidu.com/s/1dFe8avJ 密码:0pjh
我参考了这两篇文章进行部署:
1.2 设置数据库相关配置:
  • 安装Mysql 具体安装过程可参考相关资料,比如http://ifalone.me/305.html ,http://dev.mysql.com/doc/index.html
  • 为Azkaban创建数据库,其中数据库名字不一定是azkaban
    mysql> CREATE DATABASE azkaban;
  • 创建Azkaban数据库的用户,其中用户名字不一定是azkaban
    mysql> CREATE USER ' azkaban'@'%' IDENTIFIED BY '123456';
  • 增加azkaban用户对azkaban数据库的增删改查权限 
    mysql> GRANT ALL  ON   azkaban.* to ' azkaban'@'%' WITH GRANT OPTION;
  • 配置完重启MYSQL
  • 创建Azkaba需要的数据库表,将azkaban-sql-script-2.5.tar.gz解压,执行create-all-sql脚本即可
  • 获取JDBC连接器mysql-connector-java-5.1.25.tar.gz, mysql-connector-java-5.1.25.tar.gz需要在webserver和excutorserver安装完后,分别拷入 Azkaban-web/extlib和azkaban-excutorserver/extlib    
 上面我配置了一个数据库azkaban,配置了这个数据库的操作用户
  azkaban 密码 123456 下面继续安装
1.3 安装 web server

将azkaban-web-server-2.5.tar.gz解压到合适目录,如azkaban-web
解压完应该有如下文件目录
Folder    Description
bin       运行 Azkaban jetty server的脚本
conf      Azkaban web server的配置文件
lib       Azkaban依赖的jar包
extlib    放入到这个目录的jar包会被添加Azkaban的classpath
plugins   插件安装在此目录
web       Azkaban web server的相关css,html等文件
我的截图



进入到 azkban-web目录:

获取SSL需要的keystore。此处尤其注意要用java的keytool工具
执行:
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值