hive on tez 的安装

前提,已经正确安装了hadoop和hive

1、版本选择

    根据tez官网关于tez与Hadoop版本之间的关系,选择的这三个框架的版本分别如下

       ●  Hadoop 2.6.0-cdh5.7.1

       ●  Hive 2.1.0 

       ●  Tez-0.8.5

2、部署位置

    Hive 2.1.0 和Tez-0.8.5均搭建在主节点上

3、安装步骤

    ①将apache-tez-0.8.5-bin.tar.gz上传到服务器,暂时放在一个文件夹下 ,这里放在/home下

    解压到指定文件下,这里放在/usr/local/ 下

tar -zvxf /home/apache-tez-0.8.5-bin.tar.gz  -C  /usr/local/ 

     解压完成后,产生下面一个tez的一个解压文件,

     可以自行将目录名称从apache-tez-0.8.5-src 改成 tez 

mv apache-tez-0.8.5-src tez

    进入到/usr/local/tez/share 文件夹下

cd /usr/local/tez/share/

    在集群上新建一个tez文件夹,用于存放tez.tar.gz文件

hdfs dfs -mkdir /user/tez

   ⑤ 将tez.tar.gz 上传至集群tez文件夹下

 share]$ hdfs dfs -put tez.tar.gz /user/tez/

   ⑥ 配置tez-site.xml

        找到hadoop的配置文件目录(这里是/usr/local/hadoop/etc/hadoop)创建tez-site.xml配置文件并写入配置信息如下:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<configuration>
<property>
<name>tez.lib.uris</name>
<value>${fs.defaultFS}/user/tez/tez.tar.gz</value>
</property>
</configuration>

  配置环境变量,进入~/.bash_profile(有些是在/etc/profile)文件中

[root@****01 ~]$ vi ~/.bash_profile

     添加以下信息

export TEZ_CONF_DIR=/usr/local/hadoop/etc/hadoop
export TEZ_JARS=/usr/local/tez/*:/usr/local/tez/lib/*
export HADOOP_CLASSPATH=${TEZ_CONF_DIR}:${TEZ_JARS}:${HADOOP_CLASSPATH}

  这里要根据自己的安装目录,做相应的变化,不要直接照抄,另外,如果复制我上面代码,最好结束之后cat一下,看有没有乱码产生,总之,要细心一点

  ⑧ source以下配置文件,使之生效

source  ~/.bash_profile

  现在就可以启动hive 。

[root@*****01 ~]$ hive

  ⑩ 启动成功后,输入set hive.execution.engine=tez;此时就可以正常使用tez引擎了

hive默认引擎是mr,通过以上方式可以更改hive引擎。比如set hive.execution.engine=mr;或者set hive.execution.engine=spark;

也可以在hive的conf目录下修改hive-site.xml,添加以下信息

vi /usr/local/hive/conf/hive-site.xml
<property>
<name>hive.execution.engine</name>
<value>tez</value>
</property>

 

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值