Oozie
文章平均质量分 83
本栏有关Oozie学习
<一蓑烟雨任平生>
没成功之前才华等于狗屎,只有成功了才证明你的一切!
展开
-
Oozie企业级项目实战
目录一、需求分析二、实施方案(1)方案一(2)方案二一、需求分析根据前面学习,我们做了基于Sqoop+Hive+MySQL网站日志分析的项目实战,上次是通过shell脚本没有使用Oozie调度,那么这次我们使用Oozie工作流调度框架将Sqoop+Hive+MySQL串联起来。由于本次项目是在上次项目的基础上完成的,需要参考上次项目流程:https://blog.csdn.net/weixin_45366499/article/details/109444046项目需求1.数据加载 ->原创 2020-11-08 13:03:38 · 232 阅读 · 0 评论 -
Oozie时区配置与Oozie Coordinator开发测试
目录一、Oozie时区配置二、Oozie Coordinator开发测试一、Oozie时区配置时区配置步骤:第一步: 修改为当地时间sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime第二步: 在oozie-site.xml文件中添加如下 的属性项 <property> <name>oozie.processing.timezone</name> <value>GMT原创 2020-11-06 22:39:33 · 265 阅读 · 0 评论 -
Oozie WorkFlow中Shell Action使用讲解
第一步: 将shell拷贝到/opt/modules/oozie/oozie-apps/下cp -r shell/ ../../oozie-apps/这里用来测试shell脚本,内容是测试hive命令第二步: 编写脚本文件,文件名为script.sh文件,内容如下:#!/bin/bash/opt/modules/hive/bin/hive -f $1第三步: 对script.sh文件赋予权限chmod 777 script.sh第四步: 编写hive sql文件,文件名为hive.s原创 2020-11-06 19:14:49 · 392 阅读 · 0 评论 -
Oozie WorkFlow中Sqoop Action使用讲解
第一步: 将examples目录下的sqoop目录拷贝到oozie-apps目录下cp -r sqoop /opt/modules/oozie/oozie-apps/第二步: 将sqopp目录下的db.hsqldb.properties db.hsqldb.script两个文件删除rm -rf db.hsqldb.properties db.hsqldb.script第三步: 创建lib目录mkdir lib第四步: 拷贝mysql jar包到lib目录下cp /opt/modules/原创 2020-11-05 22:06:49 · 231 阅读 · 0 评论 -
Oozie WorkFlow中Hive Action使用讲解
第一步: 将examples目录下的hive目录拷贝到oozie-apps目录下cp -r hive ../../oozie-apps/第二步: 将hive命名为hive-selectmv hive hive-select第三步: 将hive-select里面的README和workflow.xml.security文件删掉rm -rf README workflow.xml.security第四步: 创建lib目录mkdir lib第五步: 基于官方模板example,编写job.原创 2020-11-05 19:22:55 · 310 阅读 · 0 评论 -
Oozie WorkFlow中MR Action使用讲解
目录一、如何开发workflow二、Oozie workflow中使用MapReduce Action一、如何开发workflow1.参考官网给我们的example2.workflow三个关键点 1)自定义:job.properties 2)自定义:workflow.xml <start> <action> <ok to="end"/> <error to="fail"/> </ac原创 2020-11-04 21:18:12 · 320 阅读 · 1 评论 -
Oozie与MySQL的集成
目录配置oozie的数据存储在mysql中配置oozie的数据存储在mysql中1.在oozie-site.xml文件中添加连接mysql数据库的几个属性项<property> <name>oozie.service.JPAService.jdbc.driver</name> <value>com.mysql.jdbc.Driver</value></property><property>原创 2020-11-04 20:47:42 · 254 阅读 · 0 评论 -
Oozie的功能架构与下载安装详解!(亲测有效)
目录一、问题引入二、常见的几个工作流调度框架三、Oozie的功能架构四、Oozie下载与安装安装第一步:安装软件(1)上传文件(2)解压文件第二步:配置文件(1)配置core-site.xml文件(2)解压文件(3)创建目录(4)拷贝jar包(5)打成war包(6)上传至HDFS(7)创建oozie的DB数据库(8)运行测试一、问题引入问题引入1:什么是工作流调度按照前面的一个案例,为了完成得出结果的这一件事,我们要完成以下的操作。数据加载到hive -> 数据的分析 -> sqoop数原创 2020-11-03 15:17:04 · 959 阅读 · 0 评论