[oozie基础]-- 部署spark、hadoop、hive、shell和java程序举例

最新推荐文章于 2022-08-06 15:04:12 发布
最新推荐文章于 2022-08-06 15:04:12 发布
阅读量2.7k 收藏 2
点赞数 1
分类专栏： Oozie 文章标签： oozie
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/high2011/article/details/52845669
版权

一、oozie执行shell脚本(执行mr任务,实现合并增量数据)

参考：http://gethue.com/use-the-shell-action-in-oozie/

1、点击创建、拖动到上面

 

2、添加命令:bash，当然也可以是linux的其他可执行的命令

 

 

3、添加参数：注意---》参数名称是shell脚本的全称(run-mr-compact.sh)

 

 

 

4、添加xxx.sh、xxx.jar、xxx.properties文件（注意：这些文件需要在同一个hdfs文件夹目录下，否则会报错！）

 

 

添加的文件顺序建议是：sh 、jar 、properties

 

 

 

相关文件内容：

(1)/user/greatgas/oozie/everyday/shell/run-mr-compact.sh.sh：

 

#!/bin/bash

hadoop jar mr-compact.jar main类全类名   properties文件相对于该jar的路径

 

 

 

(2)/user/greatgas/oozie/everyday/MR/mr-compact.jar：

MR合并程序

 

 

(3)/user/greatgas/oozie/everyday/MR/conf.properties：

jobName=t_test

 

#baseDir=hdfs上数据库路径

baseDir=/user/hive/warehouse/origin_ennenergy_test.db/

 

#就是根据table name来寻找hdfs中的hive数据路径

#tableName=原始表,增量表,中转表

tableName= s_t_test,incr_ t_test,out_ t_test

 

keyIndex=0

#时间戳所在字段，用于判断哪条记录是最新的

timeStampIndex=24

reduceNum=2

 

 

 

 

5、点击红框添加属性

 

 

6、属性添加

 

 

 

 

注意：一定要添加”HADOOP_USER_NAME=hue用户名”，否则没有执行hdfs的文件目录权限！

 

7、点击6图片中的右上角，退出，然后保存

 

 

8、提交任务

 

 

二、oozie执行mapreduce任务(实现合并增量数据)

需要上传2个文件到hdfs(如果是集群模式执行)

 

/user/e_test/workflow/mr/mr-compact.jar(hdfslinux目录jar)

 

mapred.output.dir   /user/hive/warehouse/origin_ennenergy_onecard.db/m(输出路径)

mapred.input.dir     /user/hive/warehouse/origin_ennenergy_onecard.db/t(输入路径)

delete                       /user/hive/warehouse/origin_ennenergy_onecard.db/m(删除)

 

/user/e_test/workflow/mr/conf.properties(hdfslinux目录properties)

 

 

 

编辑完成后点击提交即可！

 

 

 

三、oozie执行spark任务(实现实时接收kafka消息队列的数据)

1、创建oozie项目

 

 

 

2、添加参数：

yarn-cluster  (相当于setMaster(“yarn-cluster”))

cluster     (client或者cluster模式，一般都是使用cluster)

MySpark   (job名称，可以任意写)

hdfs://master-28.dev.cluster.enn.cn:8020/user/e_liuy/testspark/spark-test.jar(hdfs路径)

或者

hdfs:// nameservice/user/e_liuy/testspark/spark-test.jar(注意集群总名称可以替代url+端口)

enn.action.ConsumerRealDataKafka   (需要运行的类的全路径)

 

 

四、oozie执行hive任务(实现在hive的origin_ennenergy_onecard数据库中创建一个表----->M_BD_CD_CarInfo_H)

1、创建oozie的hive项目

2、添加sh脚本和hive xml文件

 

 

文件内容

 (1)onecardtomodel.q/

use origin_ennenergy_onecard;

drop table if exists M_BD_CD_CarInfo_H;

create table M_BD_CD_CarInfo_H

(

  FGUID                STRING,

  FStationNo           STRING,

  FCOMPANYID           STRING,

  FCARNO               STRING,

  FCARER               STRING,

  FTEL                 STRING,

  time_stamp           STRING,

)

ROW FORMAT DELIMITED FIELDS TERMINATED BY'\t' 

STORED AS TEXTFILE;

 

 (2)hive-site.xml

 内容：

 





  
    hive.metastore.uris
    thrift://yours_hosts:9083
  
  
    hive.metastore.client.socket.timeout
    300
  
  
    hive.metastore.warehouse.dir
    /user/hive/warehouse(hive的hdfs目录)
  
  
    hive.warehouse.subdir.inherit.perms
    true
  
  
    hive.enable.spark.execution.engine
    false
  
  
    hive.conf.restricted.list
    hive.enable.spark.execution.engine
  
  
    hive.auto.convert.join
    true
  
  
    hive.auto.convert.join.noconditionaltask.size
    20971520
  
  
    hive.optimize.bucketmapjoin.sortedmerge
    false
  
  
    hive.smbjoin.cache.rows
    10000
  
  
    mapred.reduce.tasks
    -1
  
  
    hive.exec.reducers.bytes.per.reducer
    67108864
  
  
    hive.exec.copyfile.maxsize
    33554432
  
  
  
    hive.vectorized.groupby.checkinterval
    4096
  
  
    hive.vectorized.groupby.flush.percent
    0.1
  
  
    hive.compute.query.using.stats
    false
  
  
    hive.vectorized.execution.enabled
    true
  
  
    hive.vectorized.execution.reduce.enabled
    false
  
  
    hive.merge.mapfiles
    true
  
  
    hive.merge.mapredfiles
    false
  
  
    hive.cbo.enable
    false
  
  
    hive.fetch.task.conversion
    minimal
  
  
    hive.fetch.task.conversion.threshold
    268435456
  
  
    hive.limit.pushdown.memory.usage
    0.1
  
  
    hive.merge.sparkfiles
    true
  
  
    hive.merge.smallfiles.avgsize
    16777216
  
  
    hive.merge.size.per.task
    268435456
  
  
    hive.optimize.reducededuplication
    true
  
  
    hive.optimize.reducededuplication.min.reducer
    4
  
  
    hive.map.aggr
    true
  
  
    hive.map.aggr.hash.percentmemory
    0.5
  
  
    hive.optimize.sort.dynamic.partition
    false
  
  
    spark.executor.memory
    268435456
  
  
    spark.driver.memory
    268435456
  
  
    spark.executor.cores
    1
  
  
    spark.yarn.driver.memoryOverhead
    26
  
  
    spark.yarn.executor.memoryOverhead
    26
  
  
    spark.dynamicAllocation.enabled
    true
  
  
    spark.dynamicAllocation.initialExecutors
    1
  
  
    spark.dynamicAllocation.minExecutors
    1
  
  
    spark.dynamicAllocation.maxExecutors
    2147483647
  
  
    hive.metastore.execute.setugi
    true
  
  
    hive.support.concurrency
    true
  
  
    hive.zookeeper.quorum
    slave-29.dev.cluster.enn.cn,slave-30.dev.cluster.enn.cn,slave-31.dev.cluster.enn.cn
  
  
    hive.zookeeper.client.port
    2181
  
  
    hive.zookeeper.namespace
    hive_zookeeper_namespace_hive2
  
  
    hbase.zookeeper.quorum
    zookeeper的机器列表（node1,node2,node3……）
  
  
    hbase.zookeeper.property.clientPort
    2181
  
  
    hive.cluster.delegation.token.store.class
    org.apache.hadoop.hive.thrift.MemoryTokenStore
  
  
    hive.server2.enable.doAs
    true
  
  
    hive.metastore.sasl.enabled
    true
  
  
    hive.server2.authentication
    kerberos
  
  
    hive.metastore.kerberos.principal
    hive/_HOST@ENN.CN
  
  
    hive.server2.authentication.kerberos.principal
    hive/_HOST@ENN.CN
  
  
    spark.shuffle.service.enabled
    true
  
  
    hive.cli.print.current.db
    true
  
  
    hive.exec.reducers.max
    32
  






  
    hive.metastore.uris
    thrift://yours_hosts:9083
  
  
    hive.metastore.client.socket.timeout
    300
  
  
    hive.metastore.warehouse.dir
    /user/hive/warehouse(hive的hdfs目录)
  
  
    hive.warehouse.subdir.inherit.perms
    true
  
  
    hive.enable.spark.execution.engine
    false
  
  
    hive.conf.restricted.list
    hive.enable.spark.execution.engine
  
  
    hive.auto.convert.join
    true
  
  
    hive.auto.convert.join.noconditionaltask.size
    20971520
  
  
    hive.optimize.bucketmapjoin.sortedmerge
    false
  
  
    hive.smbjoin.cache.rows
    10000
  
  
    mapred.reduce.tasks
    -1
  
  
    hive.exec.reducers.bytes.per.reducer
    67108864
  
  
    hive.exec.copyfile.maxsize
    33554432
  
  
  
    hive.vectorized.groupby.checkinterval
    4096
  
  
    hive.vectorized.groupby.flush.percent
    0.1
  
  
    hive.compute.query.using.stats
    false
  
  
    hive.vectorized.execution.enabled
    true
  
  
    hive.vectorized.execution.reduce.enabled
    false
  
  
    hive.merge.mapfiles
    true
  
  
    hive.merge.mapredfiles
    false
  
  
    hive.cbo.enable
    false
  
  
    hive.fetch.task.conversion
    minimal
  
  
    hive.fetch.task.conversion.threshold
    268435456
  
  
    hive.limit.pushdown.memory.usage
    0.1
  
  
    hive.merge.sparkfiles
    true
  
  
    hive.merge.smallfiles.avgsize
    16777216
  
  
    hive.merge.size.per.task
    268435456
  
  
    hive.optimize.reducededuplication
    true
  
  
    hive.optimize.reducededuplication.min.reducer
    4
  
  
    hive.map.aggr
    true
  
  
    hive.map.aggr.hash.percentmemory
    0.5
  
  
    hive.optimize.sort.dynamic.partition
    false
  
  
    spark.executor.memory
    268435456
  
  
    spark.driver.memory
    268435456
  
  
    spark.executor.cores
    1
  
  
    spark.yarn.driver.memoryOverhead
    26
  
  
    spark.yarn.executor.memoryOverhead
    26
  
  
    spark.dynamicAllocation.enabled
    true
  
  
    spark.dynamicAllocation.initialExecutors
    1
  
  
    spark.dynamicAllocation.minExecutors
    1
  
  
    spark.dynamicAllocation.maxExecutors
    2147483647
  
  
    hive.metastore.execute.setugi
    true
  
  
    hive.support.concurrency
    true
  
  
    hive.zookeeper.quorum
    slave-29.dev.cluster.enn.cn,slave-30.dev.cluster.enn.cn,slave-31.dev.cluster.enn.cn
  
  
    hive.zookeeper.client.port
    2181
  
  
    hive.zookeeper.namespace
    hive_zookeeper_namespace_hive2
  
  
    hbase.zookeeper.quorum
    zookeeper的机器列表（node1,node2,node3……）
  
  
    hbase.zookeeper.property.clientPort
    2181
  
  
    hive.cluster.delegation.token.store.class
    org.apache.hadoop.hive.thrift.MemoryTokenStore
  
  
    hive.server2.enable.doAs
    true
  
  
    hive.metastore.sasl.enabled
    true
  
  
    hive.server2.authentication
    kerberos
  
  
    hive.metastore.kerberos.principal
    hive/_HOST@ENN.CN
  
  
    hive.server2.authentication.kerberos.principal
    hive/_HOST@ENN.CN
  
  
    spark.shuffle.service.enabled
    true
  
  
    hive.cli.print.current.db
    true
  
  
    hive.exec.reducers.max
    32

 

 

 

 

3、保存项目后，提交任务即可

 

五、oozie执行sqoop任务（实现将hive数据导出到mysql中）

1、创建oozie的sqoop项目

 

2、输入sqoop命令

 

 

命令内容：

export --connectjdbc:mysql://10.37.149.183:3306/enn_application?characterEncoding=utf8--username root --password secret_password --table total_info --export-dir/user/hive/warehouse/origin_ennenergy_onecard.db/total_info/*--input-fields-terminated-by "\t" --update-mode allowinsert--update-key fstationno,fusercardno

 

3、保存执行即可

 

 

六、添加java程序

1、上传jar到liunx对应的oozie目录路径上

2、开始在Hue上操作：

 

 

以上测试已经通过，可以按要求更改后直接使用！

 

 

 

 

 

 

往事随风ing
关注
专栏目录
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在大数据领域，构建一个完整的生态系统是至关重要的，其中包括多个组件，如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作，提供了数据存储、处理、调度、流...
Oozie调度Spark SQL
a805814077的博客
08-20 1090
通过shell action调度spark sql
cdh6，使用oozie进行spark的jar任务调度
前方的路在刚开始
08-06 862
首先准备1个jar然后保证他丢到服务器，能用spark-submit /跑。首先你得有oozie和hue，安装好了，才行。
Oozie部署spark、hadoop、hive、shell和java程序举例
Make progress step by step everyday.....
08-24 777
一、oozie执行shell脚本(执行mr任务,实现合并增量数据) 参考：http://gethue.com/use-the-shell-action-in-oozie/ 1、点击创建、拖动到上面   2、添加命令:bash，当然也可以是linux的其他可执行的命令     3、添加参数：注意---》参数名称是shell脚本的全称(run-mr-compact.sh)    ...
使用oozie实现spark定时调度和spark依赖
zhangfan1994的博客
08-07 9961
oozie是针对hadoop的任务调度框架，因为spark on yarn的模式是基于hadoop的任务调度模块yarn来做的，所以spark on yarn模式可以利用oozie的定时模块和任务依赖调度模块，实现按时按步骤的执行spark的job，下面就简单介绍一下刚使用oozie时容易忽略和比较重要的地方。 最简单来讲，一个简单依赖关系的ooziejob，需要一个提交到hdfs上的xml用来解析
hadoop之oozie配置
斌海一舟的博客
05-11 3549
说明 在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起，这样才能够达到目的。在Hadoop生态圈中，Oozie它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中，从而完成更大型的任务。 原理 Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容： 工作流定义 当前运行
安装Oozie4.1.0-CDH版本
01-07
http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.5.2.tar.gz 文件较大，1.6G 还需要下载ExjJS，这是扩展的JavaScript的UI桌面框架。 必须是2.2版本的，这是官网指定的，已经写死在oozied.sh中。下载地址：...
oozie-graphite:使用石墨监控您的 oozie 服务器和 oozie 包
06-10
oozie-graphite包含一些有用的粘合剂，用于将操作数据从 oozie 包/协调器和/或 oozie-internal 仪器推送到石墨中。 兼容性 版本 1.0 + 版本 1.1.0 + 如何构建 使用 ，只需使用捆绑和预配置的 gradlew 包装器。 ...
Oozie ext-2.2.zip
01-31
1. **工作流管理**：Oozie支持定义和执行工作流，这些工作流由一系列任务构成，每个任务可以是其他工作流、一个简单的Hadoop作业，或者是外部系统的命令或应用程序。 2. **协调器管理**：Oozie协调器允许根据时间...
Oozie - The Workflow Scheduler for Hadoop
12-30
为了更好地管理和调度多个协调器应用程序，Oozie提供束（Bundles）的概念，允许用户将多个协调器应用程序打包在一起进行统一的管理和部署。 ### 安全性特性与共享库管理 Oozie还涵盖安全性的高级主题，包括如何实现...
hue提交spark jar任务的使用文档
01-05
hue中对spark任务的支持，是靠oozie支撑的。文档中提供了如何在hue中提交spark作业的操作步骤。
Oozie之JavaAction测试实例
07-22
使用oozie的流程，以javaAction为例 该实例可以编写自己的Main函数，通过参数传递给oozie，并可以获取oozie的输出，作为action的下一步判断。
oozie action参数传递
pan_haufei的博客
01-07 2577
1.shell节点参数传递   第一步：在shell节点编辑器中将想要传递的变量输出： # !/bin/bash test='test123' echo "test:$test"   第二步：节点高级属性中勾选捕获输出：   第三步：其他节点获取想要的变量： ${wf:actionData(nodeName).variableName} nodeName:想要获取输出变量...
用oozie命令行的方式在yarn上运行spark任务
pan_haufei的博客
07-20 4647
1.做这个实验之前你的服务器上最好装了cdh集群，以及添加必要的组件，如hadoop，oozie，spark，yarn等。 2.需要准备一个关于spark的demo架包，我写的是WordCount功能的jar，网上关于这个的一大堆。 3.准备一个job.propertie和workflow.xml，内容如下 job.properties workflow.xml 3.把需要的配置
Spark2与Oozie整合
Gedeon
04-20 8417
项目背景 公司部门成立初期，现在业务是由Shell脚本编写然后定时进行运行。由于现在公司一般都是搭建的CDH，内置有Oozie。且Oozie操作简单，功能强大，并且有很好的图形化界面所以还是想要搞一下。在搞的过程中出现了一堆问题，就是spark2与Oozie的整合现在不是很成熟，网上资料也很少，基本是淌着过去的。。。 运行环境 CDH:CDH-5.13.2-1.cdh5.13.2. Ja...
Oozie Shell Action 配置
youzhouliu的博客
09-01 4945
Shell Action Shell action运行一个shell命令，需要配置的有job-tracker，name-node和一些必要的参数。 经过配置，在启动Shell Action之前可以创建或删除HDFS文件夹。 可以通过配置文件（通过job-xml元素）给定配置信息，或者是用内嵌的configuration元素进行配置。 可以在内嵌的configuration里
OOZIE系统成功【2】跑通定时调度的…
flash胜龙的博客
04-21 2546
【要点】OOZIE跑spark程序会遇到这么一个奇葩的现象：在oozie查job的info，显示SUCCEEDED。去8088端口的yarn那儿查，也显示SUCCEEDED。然后进hdfs看看生成的结果——啥文件都没有。这是什么情况！ 【原因】编写workflow.xml文件的时候，生成目的地的地址，一定要在最后加斜杠。 如果输出结果要放到 /usr/oozie/output中的spark文件夹里
cdh5版本中的oozie hive action使用及踩坑集锦
xiao_jun_0820的专栏
07-26 4198
本来的出发点是想做一个能够提交hive ql的web接口，然后我可以在接口层面做很多定制的功能，于是开始找hive restful接口相关的信息，发现Hive有个webhcat服务，可以提交hive ql然后还可以将输出写入到指定的HDFS目录上，而且还有callback功能，在执行完成后给指定URL发送消息。看了一下源代码，原理其实和Oozie差不多，也是启动了一个单mapper任务来管理JOB
2024最新版手把手教你入门vue+springboot开发SpringBoot + vue 管理系统
最新发布
09-22
2024最新版手把手教你入门vue+springboot开发SpringBoot + vue 管理系统2024最新版手把手教你入门vue+springboot开发SpringBoot + vue 管理系统2024最新版手把手教你入门vue+springboot开发SpringBoot + vue 管理系统2024最新版手把手教你入门vue+springboot开发SpringBoot + vue 管理系统2024最新版手把手教你入门vue+springboot开发SpringBoot + vue 管理系统2024最新版手把手教你入门vue+springboot开发SpringBoot + vue 管理系统2024最新版手把手教你入门vue+springboot开发SpringBoot + vue 管理系统2024最新版手把手教你入门vue+springboot开发SpringBoot + vue 管理系统2024最新版手把手教你入门vue+springboot开发SpringBoot + vue 管理系统2024最新版手把手教你入门vue+springboot开发SpringBoot
oozie教程-实现你自己的hadoop/spark作业工作流
03-16
Oozie是一个开源的工作流协调器，可以用于管理和调度Hadoop和Spark作业。通过Oozie，用户可以定义和运行复杂的作业工作流，包括多个Hadoop和Spark作业的依赖关系和执行顺序。以下是实现自己的Hadoop/Spark作业工作流...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

往事随风ing

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值