Oozie安装和部署(详细)

1、解压及改名

[root@cjh1 install]# tar -zxf oozie-4.1.0-cdh5.14.2.tar.gz -C ../bigdata/

[root@cjh1 bigdata]# mv oozie-4.1.0-cdh5.14.2/ oozie410

2、修改配置

# 配置环境变量
[root@cjh1 bigdata]# vi /etc/profile
export OOZIE_HOME=/opt/bigdata/oozie410
export OOZIE_CONFIG=/opt/bigdata/oozie410/conf
export OOZIE_URL=http://192.168.48.141:11000/oozie
export PATH=$PATH:$OOZIE_HOME/bin

[root@cjh1 bigdata]# source /etc/profile
[root@cjh1 ~]# cd /opt/bigdata/oozie410/conf/
[root@cjh1 conf]# vi oozie-site.xml 
<property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property> 
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://192.168.48.141:3306/oozie?createDatabaseIfNotExist=true</value>
    </property> 
    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>root</value>
    </property> 
    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>cjh123</value>
    </property>
    <property>
		<name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
        <value>*=/opt/bigdata/hadoop260/etc/hadoop/</value>
    </property>
[root@cjh1 oozie410]# cp ./oozie.war ./oozie-server/webapps/

3、启动相应的服务

[root@cjh1 ~]# start-all.sh
[root@cjh1 ~]# docker start mysql
[root@cjh1 ~]# docker exec -it mysql bash
root@9eb4e89d98e3:/# mysql -uroot -pcjh123

在这里插入图片描述

[root@cjh1 oozie410]# cp /opt/install/mysql-connector-java-5.1.32.jar ./libtools/

# 生成数据库相关的表
[root@cjh1 oozie410]# ./bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection

在这里插入图片描述

4、启动运行

[root@cjh1 oozie410]# ./bin/oozied.sh start
[root@cjh1 oozie410]# ./bin/oozied.sh run
[root@cjh1 oozie410]# mkdir libext
[root@cjh1 oozie410]# \cp -r -a /opt/bigdata/hadoop260/share/hadoop/*/lib/*.jar ./libext/
[root@cjh1 libext]# \cp -r -a /opt/bigdata/hadoop260/share/hadoop/*/*.jar ./libext/
[root@cjh1 libext]# cd /opt/bigdata/oozie410/oozie-server/webapps/oozie/WEB-INF/lib
[root@cjh1 lib]# cp /opt/install/mysql-connector-java-5.1.32.jar ./
[root@cjh1 libext]# \cp -r -a  * ../oozie-server/webapps/oozie/WEB-INF/lib/
[root@cjh1 ~]# cd /opt/install
[root@cjh1 install]# unzip ext-2.2.zip
[root@cjh1 install]# cd /opt/bigdata/oozie410/oozie-server/webapps/oozie/
[root@cjh1 oozie]# cp -r /opt/install/ext-2.2 ./ 
[root@cjh1 oozie410]# ./bin/oozied.sh stop
[root@cjh1 oozie410]# ./bin/oozied.sh start
[root@cjh1 oozie410]# ./bin/oozied.sh run

5、网页查看

在这里插入图片描述
ps:自此,Oozie配置完成!

ps:制作不易,请留下你的小心心,望多多支持,后续更新中。。。

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop是一个开源的分布式计算框架,可用于处理大数据集并提供高可靠性,高可用性和高性能。要进行详细安装部署,需要运行以下步骤: 1. 安装Java:Hadoop基于Java编写,因此需要安装适当的Java版本。 2. 安装Hadoop:以二进制文件的形式下载Hadoop,并将其解压缩到目标位置。编辑Hadoop配置文件,并设置必要的参数,例如本地文件系统和Hadoop所依赖的其他组件。 3. 部署HDFS:使用bin/hdfs script启动HDFS守护进程并格式化NameNode。配置HDFS,并在数据节点上创建数据目录。 4. 部署YARN:使用bin/yarn script启动YARN守护进程,并在ResourceManager节点上运行MR程序的ApplicationMaster服务。重新配置YARN,并设置资源管理器和节点管理器。 5. 安装Spark:以二进制文件的形式下载Spark,并将其解压缩到目标位置。编辑Spark配置文件,并设置必要的参数,例如运行模式,内存设置和调试选项。 6. 安装Hive:以二进制文件的形式下载Hive,并按照说明进行安装。配置Hive,并设置Metastore和HiveServer2。 7. 安装HBase:以二进制文件的形式下载HBase,并按照说明进行安装。配置HBase,并设置区域服务器和HBase主服务器。 8. 安装Oozie:以二进制文件的形式下载Oozie,并按照说明进行安装。编辑Oozie配置文件,并设置必要的参数,例如数据库连接,属性和内存设置。 9. 安装Kafka:以二进制文件的形式下载Kafka,并按照说明进行安装。配置Kafka,并设置必要的参数,例如Zookeeper连接,日志存储位置和日志大小限制。 10. 安装Flume:以二进制文件的形式下载Flume,并按照说明进行安装。配置Flume,并设置必要的参数,例如Flume代理,事件类型和目标。 11. 安装Flink:以二进制文件的形式下载Flink,并按照说明进行安装。配置Flink,并设置必要的参数,例如集群模式,任务管理器,计算管道和作业提交方式。 12. 安装ES:以二进制文件的形式下载Elasticsearch,并按照说明进行安装。配置Elasticsearch,并设置必要的参数,例如节点类型,索引设置和查询配置。 13. 安装Redash:以二进制文件的形式下载Redash,并按照说明进行安装。配置Redash并设置必要的参数,例如数据库连接,权限和查询模式。 以上提到的大数据技术是开源的,所以可以在官网上找到相关二进制文件和详细安装部署指南。也可以使用一些自动化的部署工具,如Puppet和Ansible来简化整个过程。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值