配置tez跑mapreduce任务

在hadoop/etc/hadoop目录下配置3个配置文件:
1、tez-site.xml(新建)

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>tez.lib.uris</name>
                <value>${fs.defaultFS}/tez/tez-0.10.1,${fs.defaultFS}/tez/tez-0.10.1/lib</value>
        </property>
        <property>
                <name>tez.lib.uris.classpath</name>
                <value>${fs.defaultFS}/tez/tez-0.10.1,${fs.defaultFS}/tez/tez-0.10.1/lib</value>
        </property>
        <property>
                <name>tez.use.cluster.hadoop-libs</name>
                <value>true</value>
        </property>
        <property>
                <name>tez.history.logging.service.class</name>
                <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
        </property>
</configuration>

2、mapred-site.xml(修改配置)

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn-tez</value>
        </property>

3、hadoop-env.sh(增加配置)

# add config to tez
export TEZ_CONF_DIR=/home/hadoop/modules/hadoop/etc/hadoop
export TEZ_JARS=/home/hadoop/modules/tez-0.10.1
export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*

注意:为确保tez能够找到hadoop的jar包,最后把${HADOOP_CLASSPATH}下的jar包导导tez的lib目录下,或者根据错误提示按需导入
4、测试
在hdfs上创建/input目录并上传一些文件,进入tez的解压目录,执行以下命令测试

hadoop jar tez-examples-0.10.1.jar orderedwordcount /input /output
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值