Scheduler
文章平均质量分 61
羲凡丞相
get busy living ,or get busy dying
展开
-
DolphinScheduler docker-compose安装(配置邮件)
@羲凡——只为了更好的活着DolphinScheduler docker-compose安装(配置邮件)前期准备安装 docker安装 docker-compose安装快速试用 Docker 部署 官方文档1.下载mkdir -p /opt/modules/dolphinschedulercd /opt/modules/dolphinschedulerwget https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphins原创 2021-03-18 15:35:15 · 998 阅读 · 3 评论 -
Jenkins 安装和配置完整版
@羲凡——只为了更好的活着Jenkins 安装和配置完整版前期准备安装java8、maven、git一、安装安装一定要看 官网如果是 Red Hat / CentOS如果是root用户下面命令就不用加 sudosudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.reposudo rpm --import https://pkg.jenkins.io/redhat-s原创 2020-08-07 20:04:15 · 3420 阅读 · 0 评论 -
Azkaban编译安装完整版(集群模式)
@羲凡——只为了更好的活着Azkaban编译安装完整版(集群模式)Azkaban是一个任务调度工具。安装模式也分单机模式和集群模式。下面来编译安装Azkaban-3.84.21前期准备安装git yum install -y git安装java8安装mysql一、编译1.下载oozie源码包wget https://github.com/azkaban/azkaban/archive/3.84.21.tar.gz2.解压tar -zxf 3.84.21.tar.gz -C ./3原创 2020-05-25 17:42:04 · 688 阅读 · 0 评论 -
Xxl-job 编译和安装——xxl-job2.0.2
@羲凡——只为了更好的活着xxl-job 编译和安装——xxl-job2.0.2前一篇博客(https://blog.csdn.net/weixin_42003671/article/details/89487433)已经安装好elasticsearch6.5.4,现在安装一下kibana6.5.4。Kibana的安装特别简单。1.下载源码包并解压在下面的链接中下载自己的版本,本文使用最新...原创 2019-05-10 13:09:39 · 7151 阅读 · 3 评论 -
Oozie编译安装完整版——Oozie4.3.1
@羲凡——只为了更好的活着Oozie编译完整版——Oozie4.3.1Oozie是大数据生态圈中任务调度工具,对于一些初创公司来说,是很简单上手且节省开发成本,对于成熟的大公司来说,一般会自己开发一套调度系统。下面来编译安装Oozie4.3.1一、编译0.环境准备下面是官网要求System RequirementsUnix box (tested on Mac OS X and Li...原创 2019-01-24 17:08:53 · 1735 阅读 · 2 评论 -
Oozie 调用shell脚本——Oozie4.3.1
@羲凡——只为了更好的活着Oozie调用shell脚本——Oozie4.3.1oozie调用shell脚本准备三个文件 job.properties、mkdir.sh(即你的shell脚本)、workflow.xml。和之前的一篇 Oozie调用spark案例(shell脚本) 博客(https://blog.csdn.net/weixin_42003671/article/details/8...原创 2019-03-27 13:34:03 · 1732 阅读 · 2 评论 -
Oozie调用sqoop案例(shell脚本)——Oozie4.3.1
@羲凡——只为了更好的活着Oozie调用sqoop案例(shell脚本)——Oozie4.3.1oozie调用sqoop的shell脚本准备三个文件 job.properties、sqoopshell.sh、workflow.xml。特别说明1.shell脚本中sqoop的命令要写本地全路径(/usr/local/package/sqoop-1.4.7.bin/bin/sqoop)2.将...原创 2019-03-30 10:22:49 · 1191 阅读 · 7 评论 -
踩坑——Oozie提交hive报错JA010: Property [fs.default.name] not allowed in action [job-xml] configuration
报错如下2019-02-15 09:47:47,017 WARN ActionStartXCommand:523 - SERVER[deptest75] USER[hadoop] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000067-190128144307847-oozie-hado-W] ACTION[0000067-190128144307847-oozie...原创 2019-02-15 12:21:02 · 588 阅读 · 0 评论 -
踩坑——Oozie提交的任务已经执行,但是结果没有输出,因为参数没加{}
这个问题太尴尬oozie的11000界面的显示任务已经完成yarn8088界面也显示任务已经执行完但是结果却没有写出来原因是我在 workflow.xml 中写 job.properties 传入的参数时,没有写参数两边的大括号。例如 原本的 ${outputdir} 写成了 $outputdiroozie的参数应用一定要加 {}oozie的参数应用一定要加 {}oozie的参数...原创 2019-01-28 14:53:15 · 996 阅读 · 1 评论 -
Oozie调用spark案例(shell脚本)——Oozie4.3.1
@羲凡——只为了更好的活着Oozie调用spark案例——Oozie4.3.1oozie调用hive准备三个文件 job.properties、testWordCount.sh、workflow.xml1.job.properties# 当你配置了dfs高可用,fs.defaultFS参数对应的名字,# 否者写hdfs://deptest1:8020或者hdfs://deptest1:9...原创 2019-01-25 16:00:45 · 1515 阅读 · 1 评论 -
Oozie调用hive案例——Oozie4.3.1
@羲凡——只为了更好的活着Oozie调用hive案例——Oozie4.3.1oozie调用hive准备三个文件 job.properties、script.q、workflow.xml1.job.properties# 当你配置了dfs高可用,fs.defaultFS参数对应的名字,# 否者写hdfs://deptest1:8020或者hdfs://deptest1:9000nameN...原创 2019-01-25 12:24:32 · 808 阅读 · 3 评论