在mysql上 创建oozie数据库,创建oozie用户名和密码,并赋值oozie账号登陆oozie数据库的权限。
登录数据库
创建数据库Oozie
创建oozie用户名和密码
设置oozie数据库的访问权限,出现问题
是user表中’root’@’%’没有grant的权限
update mysql.user set Grant_priv='Y',Super_priv='Y' where user = 'root' and host = '%';
重启mysql
赋值oozie账号登陆oozie数据库的权限
安装maven-3.3.9
wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
解压缩
做个软链
配置环境变量
显示版本
这里我们需要编译oozie,所以不用阿里云仓库(很多依赖不全),改成使用maven的中央仓库
添加镜像文件
上传工具包
解压缩
官方提供的oozie只是源码,需要自己编译,解压缩,使用以下命令编译:
./mkdistro.sh -Phadoop-2 -Dhadoop.auth.version=2.7.3 -Ddistcp.version=2.7.3 -Dhadoop.version=2.7.3 -Dsqoop.version=1.4.6 -DskipTests
出现错误
Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde in Central
下载不了该jar包,发现该jar包来源根本不是maven的central仓库,而是spring的
(http://repo.spring.io/plugins-release/org/pentaho/pentaho-aggdesigner-algorithm/5.1.5-jhyde/pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar)
进入~/.m2/repository/org/pentaho/pentaho-aggdesigner-algorithm/5.1.5-jhyde/,清除,手工上传下载好的jar包
删除
上传
继续执行
出错了
和上面的原因一样,缺包 我们下载上传
下载地址
https://repository.cloudera.com/content/repositories/releases/org/apache/maven/doxia/doxia-module-twiki/1.0-alpha-9.2y/doxia-module-twiki-1.0-alpha-9.2y.jar
进入删除
上传
第二个包
下载地址
https://repository.cloudera.com/content/repositories/releases/org/apache/maven/doxia/doxia-core/1.0-alpha-9.2y/doxia-core-1.0-alpha-9.2y.jar
上传包
继续执行
成功了
这里有个路径
这个就是打好的包
做到这里是第三天,突然看到官网的要求是下图,决定更改下jdk版本,安装pig
我目前的jdk版本是1.7
先卸载
查询yum列表
安装
成功
安装完成路径一般在 /usr/lib/jvm,我们使用这个
配置环境变量
查看版本
Hadoop中也进行改变
vim hadoop-env.sh
vim mapred-env.sh
继续安装pig,我们将安装包解压
配置环境变量
生效查看版本
检测是否安装成功
退出运行
解压缩包oozie-4.3.1-distro.tar.gz到/usr/local/目录下,然后进入目录oozie-4.3.1,分别解压缩里面的三个压缩包oozie-client-4.3.1.tar.gz、oozie-examples.tar.gz、oozie-sharelib-4.3.1.tar.gz
三个压缩包
解压三个压缩包
tar xzvf oozie-examples.tar.gz
tar xzvf oozie-sharelib-4.3.1.tar.gz
tar xzvf oozie-client-4.3.1.tar.gz
在当前目录创建libext,然后复制hadoop的lib目录下的文件到libext
cp ${HADOOP_HOME}/share/hadoop/*/*.jar libext/
cp ${HADOOP_HOME}/share/hadoop/*/lib/*.jar libext/
下载并添加ext-2.2.zip和mysql-connector-java-5.1.38.jar驱动包到libext
启动hadoop
将mysql-connector-java-5.1.38拷贝到share/lib/sqoop中
在hdfs上创建/user/oozie目录
然后将share目录上传到hdfs中的/user/oozie目录
执行出现以下问题
但文件上传了
查了半天,看到这段话,就暂时放下没有管
找到配置文件oozie-site.xml,添加一下内容
<property>
<name>oozie.service.JPAService.jdbc.driver</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.url</name>
<value>jdbc:mysql://localhost:3306/oozie</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.username</name>
<value>oozie</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.password</name>
<value>password</value>
</property>
<property>
<name>oozie.service.ProxyUserService.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>oozie.service.ProxyUserService.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
<property>
<name>oozie.service.JPAService.create.db.schema</name>
<value>false</value>
</property>
<property>
<name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
<value>*=/opt/bigdata/hadoop-2.7.3/etc/hadoop</value>
</property>
<property>
<name>oozie.service.HadoopAccessorService.action.configurations</name>
<value>*=/opt/bigdata/hadoop-2.7.3/etc/hadoop</value>
</property>
<!--
<property>
<name>oozie.service.SparkConfigurationService.spark.configurations</name>
<value>*=/usr/local/spark/spark-1.6.1/conf</value>
</property>
-->
<property>
<name>oozie.service.WorkflowAppService.system.libpath</name>
<value>/user/oozie/share/lib</value>
</property>
<property>
<name>oozie.use.system.libpath</name>
<value>true</value>
</property>
<property>
<name>oozie.subworkflow.classpath.inheritance</name>
<value>true</value>
</property>
修改hadoop目录下的/opt/bigdata/hadoop-2.7.3/etc/hadoop /core-site.xml,添加
<property>
<name>hadoop.proxyuser.jingxiao.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.jingxiao.groups</name>
<value>*</value>
</property>
配置环境变量
配置生效
启动与停止的脚本
bin/oozied.sh start
bin/oozied.sh stop
登录访问