用户画像第三章(企业级360°用户画像_Oozie的安装）

最新推荐文章于 2024-03-13 15:18:42 发布

a大数据yyds

最新推荐文章于 2024-03-13 15:18:42 发布

阅读量240

点赞数 1

分类专栏：用户画像

本文链接：https://blog.csdn.net/qq_45765882/article/details/106607290

版权

本文详细介绍了在Hadoop集群上安装和配置Oozie的步骤，包括修改配置文件、解压安装包、创建数据库、设置环境变量以及启动和访问Oozie服务的过程。

摘要由CSDN通过智能技术生成

Oozie的安装及使用
1、Oozie的介绍
是一个运行在HADOOP之上的一个工作流调度引擎，可以调度MR,Hive,shell等任务。
在这里插入图片描述
oozie的组件介绍：
workFlow（xml文件）
工作流，定义工作流任务的执行流程，主要由多个（一个）的action组成，每个action都是一个任务，在xml中进行配置
Coordinator
协作器，是workFlow的协调器，可以将多个workFlow协调在一起（有先后顺序），构成一个大的流程。同时提供周期执行功能（每天/每小时/每分钟执行一次）
==Bundle ==
捆，束，可以将多个Coordinator ，组合在一起，构成更大的流程。
在这里插入图片描述
2、oozie的架构

3、oozie的安装
第一步：修改core-site.xml
修改core-site.xml添加我们hadoop集群的代理用户

  		<property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>

注意：hadoop的历史任务的服务必须启动，即19888端口可以查看，具体如何配置19888请查看hadoop课程的环境搭建.
修改完成之后，记得重启hadoop的hdfs与yarn集群，还要记得启动jobhistory
重启hdfs与yarn集群
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/stop-dfs.sh
sbin/start-dfs.sh
sbin/stop-yarn.sh
sbin/start-yarn.sh
第二步：上传oozie的安装包并解压
将oozie的安装包上传到/export/softwares