hadoop tez 搭建
1、下载tez,本人下载的是bin.0.92版本。
http://www.apache.org/dyn/closer.lua/tez/0.9.2/
hadoop dfs -mkdir -p /apps/tez
tar -zxvf apache-tez-0.9.2-bin.tar.gz
hadoop dfs -copyFromLocal tez.tar.gz /apps/tez
2、在hadoop/etc/hadoop下创建 tez-site.xml文件,内容如下
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>tez.lib.uris</name> <!-- hdfs tez 包目录 --> <value>${fs.defaultFS}/apps/tez/tez.tar.gz</value> </property> <property> <name>tez.use.cluster.hadoop-libs</name> <value>false</value> </property> </configuration>
在 hadoo-env.sh 下面追加
# hadoop tez 配置文件位置 TEZ_CONF_DIR=/software/hadoop/etc/hadoop/tez-site.xml # tez 路径 TEZ_JARS=/softeware/tez export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*
GitHub安装配置说明地址:https://github.com/apache/incubator-tez/blob/branch-0.2.0/INSTALL.txt
官网参考:http://tez.apache.org/install.html
解压缩在tez 目录下面找到share 目录
3、将mapred-site.xml 的yarn 模式改成yarn-tez 模式
<property> <name>mapreduce.framework.name</name> <!-- <value>yarn</value> --> <value>yarn-tez</value> <final>true</final> </property>
将修改完成的 tez-site.xml 和 mapred-site.xml 发送到其他节点
重新启动yarn就可以了
在tez 测试
hadoop dfs -put LINCENSE /data/input
hadoop jar tez-examples-0.9.0.jar orderedwordcount /data/tez_input /user/ceshi/tez_output
![](https://i-blog.csdnimg.cn/blog_migrate/db8061324d2ccd502561616e7a770b13.png)
如图示则是成功
5、可能出现异常解决方式。
如果出现上述问题,则可能是 tez container 内存多大导致
可实际情况修改 在tez-site.xml 下面写入
<property>
<name>tez.container.max.java.heap.fraction</name>
<value>0.13</value>
</property>
我的调整比例是 0.13, 自己可据实际情况去修改
不用重启yarn 直接进行测试
hadoop jar tez-examples-0.9.0.jar orderedwordcount /data/tez_input /user/ceshi/tez_output
如果出现如下问题:
![](https://i-blog.csdnimg.cn/blog_migrate/beeb866c83715f50dbf417a7cfe735a8.png)
则根据提示在tez-site.xml 后面追加相应配置参数,根据实际情况去修改参数配置。不出现该问题不管就ok
<property>
<name>tez.runtime.io.sort.mb</name>
<value>85</value>
</property>
到此终于跑通了
我的 tez-site.xml 完成配置,自己跟自己实际需求配置就可以了
<property> <name>tez.lib.uris</name> <value>${fs.defaultFS}/apps/tez/tez.tar.gz</value> </property> <property> <name>tez.use.cluster.hadoop-libs</name> <value>false</value> </property> <property> <name>tez.container.max.java.heap.fraction</name> <value>0.13</value> </property> <property> <name>tez.runtime.io.sort.mb</name> <value>85</value> </property>
转发请标明来源连接