mysql tar包安装_Hadoop2.7.3上安装oozie-4.3.1

在mysql上 创建oozie数据库,创建oozie用户名和密码,并赋值oozie账号登陆oozie数据库的权限。

登录数据库

09b3db674fcc7f97d1296baa466ca3bc.png

创建数据库Oozie

c93ecf9792d3e3a7f476f1c99827d69f.png

创建oozie用户名和密码

652b2c7f5e81cc43e64c58df3ca1381d.png

设置oozie数据库的访问权限,出现问题

67738067512258c5227512172ed4b699.png

是user表中’root’@’%’没有grant的权限

51ad69d23b78199516487187721de6fd.png

update mysql.user set Grant_priv='Y',Super_priv='Y' where user = 'root' and host = '%';

60a0dc4d9405af2cdad503001440d0c0.png

重启mysql

bff1890e9c1f65d1787cc8e0546db7cb.png

赋值oozie账号登陆oozie数据库的权限

a9003911e7f45a19ca290fcf4c41a4ab.png

安装maven-3.3.9

wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz

ae2c261fba04b899b57c5064f08c6d06.png

解压缩

a00af8446519f36ba1fe1b13767594ac.png

做个软链

7e22ee10f9b807b2deaeb89c4ff1335b.png

配置环境变量

3c74930c0e4d37e6a771dda04b1c4d77.png

显示版本

d7a9a14e92b41a3d6a76faaa75aa233f.png

这里我们需要编译oozie,所以不用阿里云仓库(很多依赖不全),改成使用maven的中央仓库

c5a555c4c155edbcdf5471507cc87c31.png

添加镜像文件

96728051dfaec45ea368b2cf0c94a613.png

上传工具包

69ebd78756af03144e3c80737601ab90.png

解压缩

3d6977f8c0ff18d62cf67f742de3a772.png

官方提供的oozie只是源码,需要自己编译,解压缩,使用以下命令编译:

./mkdistro.sh -Phadoop-2 -Dhadoop.auth.version=2.7.3 -Ddistcp.version=2.7.3 -Dhadoop.version=2.7.3 -Dsqoop.version=1.4.6 -DskipTests

17fd9dd8f7970eb03daff800c3b94562.png

出现错误

872fe330401d1091bb125bd5dc5227f8.png

Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde in Central

下载不了该jar包,发现该jar包来源根本不是maven的central仓库,而是spring的

1ff675b126ab3ed57946716b9b9191d1.png

(http://repo.spring.io/plugins-release/org/pentaho/pentaho-aggdesigner-algorithm/5.1.5-jhyde/pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar)

d07c26824ed42937dd494a62187b1d0c.png

092bdaeb70408bb210d3d74445b087aa.png

进入~/.m2/repository/org/pentaho/pentaho-aggdesigner-algorithm/5.1.5-jhyde/,清除,手工上传下载好的jar包

b4716539704c5676d8b65d5cf1b7cedd.png

删除

730dbd29c08e6d72e708ffeb53c2e30b.png

上传

92aca7bc3ffd89262f48a05cc0352003.png

继续执行

2c88a0770fe71ddd40ed1e43659ff039.png

出错了

1c760d2bfc441f917b321347dec0b1ab.png

和上面的原因一样,缺包 我们下载上传

9c93e7d8b5a12902272feda0b668e582.png

下载地址

https://repository.cloudera.com/content/repositories/releases/org/apache/maven/doxia/doxia-module-twiki/1.0-alpha-9.2y/doxia-module-twiki-1.0-alpha-9.2y.jar

2b407553883a186a3263069804fc5970.png

12d27a949e9e59054766b397a47d0a33.png

进入删除

0d51e8ef9a1f15463ac994f2fc842c2a.png

上传

7de2cd5064acf3f59d612d865800fa2c.png

第二个包

9fac80a98b68057dce6909252f589a39.png

下载地址

7d6113028589f440e0227052e63b2c8a.png

https://repository.cloudera.com/content/repositories/releases/org/apache/maven/doxia/doxia-core/1.0-alpha-9.2y/doxia-core-1.0-alpha-9.2y.jar

上传包

32880eb3ed11f1e26633a8fe83773745.png

继续执行

181f5196227e50c2371c42bcf49de382.png

成功了

0811c3f1a2a7de439a6a86b2ee26edba.png

这里有个路径

2b70ddb8434906ae5d62120616304e7f.png

这个就是打好的包

710caab3e7219452576663578953cf70.png

做到这里是第三天,突然看到官网的要求是下图,决定更改下jdk版本,安装pig

163fb89c0b1dfc90e05cc2f3435b077d.png

我目前的jdk版本是1.7

5316bfddb4d783e3bfa552098f38ae0a.png

先卸载

e0a4e76424af83a428ad738963db44bf.png

查询yum列表

4088eeb43f85d09b34f307cc949259db.png

安装

4166fd61f4898ac9d2b72938588c8f41.png

成功

6165c4743d3cde621da14454e20260f5.png

安装完成路径一般在 /usr/lib/jvm,我们使用这个

1dcd5228b5b42f2367f95868b3641a65.png

配置环境变量

dc4f74cb408269df983bb6afcda80b69.png

查看版本

b4f14a6c59a03086c74c76b4c9d0cecd.png

Hadoop中也进行改变

vim hadoop-env.sh

cd3d34843edae8c9984de518be78bbd2.png

vim mapred-env.sh

c820fdf4fcc15c826f75cbce39d1f41d.png

继续安装pig,我们将安装包解压

0249189e5545d98cfcfc6f1d04f8fd41.png

724cf57da012e25d038c2645e7cdb01a.png

配置环境变量

d5c5496875f7f520f42b4dc48d30ef8b.png

生效查看版本

1bd97c2a7c4cbc2abbf21f487945e918.png

检测是否安装成功

702ab9ce6071af48e132946d90ed7387.png

退出运行

b92dc0c7269c4eee63b16b05e8fd24b7.png

解压缩包oozie-4.3.1-distro.tar.gz到/usr/local/目录下,然后进入目录oozie-4.3.1,分别解压缩里面的三个压缩包oozie-client-4.3.1.tar.gz、oozie-examples.tar.gz、oozie-sharelib-4.3.1.tar.gz

26e278ab81d465a146fafd4736361916.png

三个压缩包

e7ae657799fca02dfa83acf87674f9d9.png

解压三个压缩包

tar xzvf oozie-examples.tar.gz

tar xzvf oozie-sharelib-4.3.1.tar.gz

tar xzvf oozie-client-4.3.1.tar.gz

0d16920da4409404e92fc98d023bf9a0.png

在当前目录创建libext,然后复制hadoop的lib目录下的文件到libext

cp ${HADOOP_HOME}/share/hadoop/*/*.jar libext/

cp ${HADOOP_HOME}/share/hadoop/*/lib/*.jar libext/

fae027b63c326b31faf53136cd3f872e.png

下载并添加ext-2.2.zip和mysql-connector-java-5.1.38.jar驱动包到libext

8116ee2b31983aecaf74cb8b2e75f030.png

启动hadoop

c43292f94fb891063f45ef11a154325c.png

将mysql-connector-java-5.1.38拷贝到share/lib/sqoop中

c4cacbb93a0eaf0f080c694f70588389.png

在hdfs上创建/user/oozie目录

54dd8cd65d935c1855a96204a28f45d1.png

然后将share目录上传到hdfs中的/user/oozie目录

e8d074f483f9d7fe488efb5f4c40b7ec.png

执行出现以下问题

4169a6bbed2f4378ce7c6c21ca51987a.png

但文件上传了

106dcb2dddccd56a3c65517313b8d5ed.png

查了半天,看到这段话,就暂时放下没有管

c1200467aa68eac3699ca7369ebfc6cc.png

找到配置文件oozie-site.xml,添加一下内容

<property>

<name>oozie.service.JPAService.jdbc.driver</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>oozie.service.JPAService.jdbc.url</name>

<value>jdbc:mysql://localhost:3306/oozie</value>

</property>

<property>

<name>oozie.service.JPAService.jdbc.username</name>

<value>oozie</value>

</property>

<property>

<name>oozie.service.JPAService.jdbc.password</name>

<value>password</value>

</property>

<property>

<name>oozie.service.ProxyUserService.proxyuser.hadoop.hosts</name>

<value>*</value>

</property>

<property>

<name>oozie.service.ProxyUserService.proxyuser.hadoop.groups</name>

<value>*</value>

</property>

<property>

<name>oozie.service.JPAService.create.db.schema</name>

<value>false</value>

</property>

<property>

<name>oozie.service.HadoopAccessorService.hadoop.configurations</name>

<value>*=/opt/bigdata/hadoop-2.7.3/etc/hadoop</value>

</property>

<property>

<name>oozie.service.HadoopAccessorService.action.configurations</name>

<value>*=/opt/bigdata/hadoop-2.7.3/etc/hadoop</value>

</property>

<!--

<property>

<name>oozie.service.SparkConfigurationService.spark.configurations</name>

<value>*=/usr/local/spark/spark-1.6.1/conf</value>

</property>

-->

<property>

<name>oozie.service.WorkflowAppService.system.libpath</name>

<value>/user/oozie/share/lib</value>

</property>

<property>

<name>oozie.use.system.libpath</name>

<value>true</value>

</property>

<property>

<name>oozie.subworkflow.classpath.inheritance</name>

<value>true</value>

</property>

e9f525b92fa0520117b46afe045aeb48.png

修改hadoop目录下的/opt/bigdata/hadoop-2.7.3/etc/hadoop /core-site.xml,添加

<property>

<name>hadoop.proxyuser.jingxiao.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.jingxiao.groups</name>

<value>*</value>

</property>

b5e8abbffb1a51840802f0c98e7fb6c5.png

配置环境变量

1865dc40f2d8c084f469e094922e4fec.png

配置生效

d43f5d7cbc109464bae0b3a62fa0faac.png

启动与停止的脚本

bin/oozied.sh start

bin/oozied.sh stop

a767d62580dc0c2c03c86b00ef7730a5.png

登录访问

8ce9f0cd6d2a7e787f0073258d88d089.png

cd1e662686e9390d07e0629a14900dbf.png
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值