Oozie安装配置与实例运行

Oozie安装配置与实例运行
目录
Oozie安装配置与实例运行 1

1. Maven安装 2
   1.1. 官网下载 2
   1.2. 解压安装 2
   1.3. 其他依赖 3
2. MySQL安装 3
   2.1. 下载安装包：客户端与服务端。（个人版本为5.6.29） 3
   2.2. 确认当前虚拟机上是否安装过mysql 3
   2.3. 卸载mysql 3
   2.4. 新增mysql用户组，并创建mysql用户 3
   2.5. 解压mysql Server rpm和mysql client rpm包 4
   2.6. 修改my.cnf配置文件，设置字符集，默认在/usr/my.cnf 4
   2.7. 将mysqld加入系统服务，并随机启动 4
   2.8. 启动mysqld 4
   2.9. 查看初始生成的密码，这个密码是随机生成的 4
   2.10. 修改初始密码 4
   2.11. 进入mysql数据库 5
   2.12. 查看mysql数据库配置信息 5
3. 下载Oozie 5
   3.1. 官网下载 5
   3.2. 解压安装 5
   3.3. 编译 6
   3.4. 修改Oozie配置 6
   3.5. 修改oozie的oozie-site.xml文件 6
   3.6. 创建数据库并授权 9
   3.7. 将需要用到的包进行打包 9
4. 修改Hadoop配置文件 10
   4.1. 修改core-site.xml文件 10
   4.2. 在mapred-site文件中，设置为yarn管理 10
   4.3. 启动hadoop（或hadoop集群） 10
   4.4. 上传oozie-4.3.1/share/lib到hdfs 11
   4.5. 启动jobhistory并查看所有进程 11
5. 启动oozie 11
6. 运行oozie自带实例：map-reduce 12
   6.1. 解压oozie-4.7.1目录下的oozie-examples.tar.gz 12
   6.2. 执行oozie job 13
   6.3. 查看oozie job信息 13
   6.4. 通过浏览器查看job信息 14
   6.5. 查看hdfs文件内容 15

Oozie的安装需要利用到Maven仓库和MySQL以及jdk等环境，故以下列举Maven和MySQL的安装信息。

1. Maven安装
   1.1. 官网下载
   进入maven下载页面http://mirror.bit.edu.cn/apache/maven/maven-3/3.3.9/binaries/，下载apache-maven-3.3.9版本（与生产环境一致）。
   
   1.2. 解压安装
   ① 、我将下载的文件放到/home/software/ORA文件夹下，直接解压：
   tar -xvf apache-maven-3.3.9-bin.tar.gz
   ② 、修改环境变量：vim /etc/profile
   export export M2_HOME=/home/software/ORA/apache-maven-3.3.9
   export PATH=$PATH:$M2_HOME/bin
   ③ 、修改了配置文件之后，通过source让其生效：
   source /etc/profile
   ④ 、验证maven是否安装成功
   mvn -version