在hadoop/etc/hadoop目录下配置3个配置文件:
1、tez-site.xml(新建)
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>tez.lib.uris</name>
<value>${fs.defaultFS}/tez/tez-0.10.1,${fs.defaultFS}/tez/tez-0.10.1/lib</value>
</property>
<property>
<name>tez.lib.uris.classpath</name>
<value>${fs.defaultFS}/tez/tez-0.10.1,${fs.defaultFS}/tez/tez-0.10.1/lib</value>
</property>
<property>
<name>tez.use.cluster.hadoop-libs</name>
<value>true</value>
</property>
<property>
<name>tez.history.logging.service.class</name>
<value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
</property>
</configuration>
2、mapred-site.xml(修改配置)
<property>
<name>mapreduce.framework.name</name>
<value>yarn-tez</value>
</property>
3、hadoop-env.sh(增加配置)
# add config to tez
export TEZ_CONF_DIR=/home/hadoop/modules/hadoop/etc/hadoop
export TEZ_JARS=/home/hadoop/modules/tez-0.10.1
export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*
注意:为确保tez能够找到hadoop的jar包,最后把${HADOOP_CLASSPATH}下的jar包导导tez的lib目录下,或者根据错误提示按需导入
4、测试
在hdfs上创建/input目录并上传一些文件,进入tez的解压目录,执行以下命令测试
hadoop jar tez-examples-0.10.1.jar orderedwordcount /input /output