shaokeAK的博客

azkaban的使用第一个azkaban在azkaban总目录下创建jobs的文件夹存放所有的job写一个.job(必须以.job结尾)#first jobtype=commandcommand=echo ‘yuniko 这样的人’将first .job文件添加成zip格式zip azk1.zip fist.job发送到web ui并运行可以在webUI中设置执行任...

Hadoop集群搭建 HA下载hadoop-2.7.1包将 hadoop2.4.1 上传解压tar -zxvf ./hadoop-2.7.1.tar.gz修改hadoop环境变量export HADOOP_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b10-0.el6_10.x86_64export PATH=PATH:PATH...

安装 azkaban解压 azkaban-2.5.0.zip需要下载unzip得到azkaban的三个包调度工作流和任务azkaban-executor-server-2.5.0.tar.gz数据库支持azkaban-sql-script-2.5.0.tar.gzwebUIazkaban-web-server-2.5.0.tar.gz分别解压三个包tar -zxvf...

Spark单点Master 三点 Worker 配置解压sparktar -xzvf ./spark-1.6.2-bin-hadoop2.6.tgz进入conf文件目录重命名spark-env.shcd ./conf/mv spark-env.sh.template spark-env.sh修改配置 spark-env.sh在其中添加环境变量export JAVA_HOME...