Tez说明
将xyz替换为您正在使用的tez发行版号。例如0.5.0。对于Tez版本0.8.3和更高版本,Tez需要Apache Hadoop版本为2.6.0或更高版本。对于Tez版本0.9.0及更高版本,Tez需要Apache Hadoop版本为2.7.0或更高版本。
关于版本
1.Hadoop 2.7.0+(我的是2.7.1)
2.Tez还需要Protocol Buffers 2.5.0,包括protoc编译器。(如果你下载的是apache-tez-0.9.0-src.tar.gz包则需要编译,需要Protocol Buffers 2.5.0)
3.Maven3+
4.Hive 2.1.1
5.tez-0.9.0
protobuf-2.5.0安装
(注:如果下载的是apache-tez-0.9.0-bin.tar.gz则不需要编译。可以跳过这一步,建议下载bin)
1.下载源码
2.解压
tar -zxvf protobuf-2.5.0.tar.gz
3.编译安装
cd protobuf-2.5.0
./configure
make
make install
protoc --version #验证是否安装成功
安装部署tez
1.下载地址
这里可以选择
apache-tez-0.9.0-src.tar.gz
apache-tez-0.9.0-bin.tar.gz(建议下载这个,感觉src编译遇到好多问题。)
2.编译
a.方式一
我们先来说apache-tez-0.9.0-src.tar.gz
tar -zxvf apache-tez-0.9.0-src.tar.gz
#编译不能用root用户。
chmod -R 777 apache-tez-0.9.0-src
cd apache-tez-0.9.0-src
su elk
mvn -X clean package -DskipTests=true -Dmaven.javadoc.skip=true
b.方式二
apache-tez-0.9.0-bin.tar.gz(不需要编译)
tar -zxvf apache-tez-0.9.0-bin.tar.gz
cd apache-tez-0.9.0-bin
3.将tez的压缩包put到hdfs上去
a.方式一
所在文件目录
apache-tez-0.9.0-src/target
b.方式二
所在文件目录
apache-tez-0.9.0-bin/share
(注:后面的步骤就一样了)
hadoop fs -mkdir -p /user/tez
hadoop fs -put tez.tar.gz /user/tez
4.在hadoop/etc/hado