Tez安装整体过程以及各节点的配置

最新推荐文章于 2024-09-17 23:43:16 发布
最新推荐文章于 2024-09-17 23:43:16 发布
阅读量5.5k 收藏 1
点赞数 2
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shujuwangzi/article/details/50442756
版权
在/etc/profile中修改环境变量如下
export JAVA_HOME=/usr/java/jdk1.7.0_55-cloudera
export MAVEN_HOME=/usr/local/apache-maven-3.0.3
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$MAVEN_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib:/opt/cloudera/impalaodbc/lib/64
说明：   java 1.7.0    protoco 2.5.0   maven 3.0.3   Tez 0.4.1
第一步  首先安装protoc
  在/opt/cloudera/parcels/CDH-5.3.3-1.cdh5.3.3.p0.5/lib目录下进行下载
  下载完毕后进行解压 tar zxvf protobuf-2.5.0.tar.gz 

  进入到解压目录 cd protobuf-2.5.0 

  进行执行./configure   

（如果提示C错误，则执行

    yum install glibc-headers

    yum install gcc-c++
 ）

 make

 make check

 make install

 安装完成后lib文件会在/usr/local/lib目录下

  设置变量 vi  /etc/profile

 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib

 生效 source /etc/profile

 查看 protoc --version


第二部 安装maven
        首先下载，下载地址 apache-maven-3.0.3-bin.tar.gz

        下载后放在/usr/local目录下

    解压tar -xvf apache-maven-3.0.3-bin.tar.gz

    设置环境变量，编辑/etc/profile,添加如下文件

    export MAVEN_HOME=/usr/local/apache-maven-3.0.3
    export PATH=$MAVEN_HOME/bin:$PATH
    使其生效   source /etc/profile
    验证   mvn -v

第三部 安装部署Tez
下载到/etc目录下  
解压  tar -xvf  tez-0.4.1-incubating-src.tar.gz 
进入目录     tez-0.4.1-incubating-src（以下没说明均在该目录下进行）

编译，编译之前注意修改pom.xml中的相关配置，主要是把hadoop.version和protobuf.version修改成你环境下的版本号。

<protobuf.version>2.5.0</protobuf.version>   

<hadoop.version>2.5.0</hadoop.version>

执行命令：       

mvn clean install -DskipTests=true -Dmaven.javadoc.skip=true
完成之后在hdfs上创建目录/user/apps
hadoop fs -mkdir /user/apps
上传部分tez jars和他们的依赖包到hdfs中
hadoop fs -put /etc/tez-0.4.1-incubating-src/tez-dist/target/tez-0.4.1-incubating-full /user/apps
在/etc/hadoop/conf目录下创建tez-site.xml

<configuration>

<property>

<name>tez.lib.uris</name>

<value>${fs.default.name}/user/apps/tez-0.4.1-incubating-full,${fs.default.name}/user/apps/tez-0.4.1-incubating-full/lib</value>

</property>

</configuration>

修改mapred-site.xml文件，将mapreduce.framework.name的值由yarn修改成yarn-tez（值为yarn-tez时通过tez执行,但正常的hive查询不能执行，如果使hive可以执行，必须修改为yarn）

将mapreduce.map.output.compress的值由true改为false（true为压缩输出，但是执行Tez的时候会出现错误——很有可能是没有安装hadoop-snappy，false为非压缩输出，可执行查询语句，但没输出结果——仅仅192.168.8.206出现此情况，其它三个可以正常输出结果）

修改两个： 

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn-tez</value>

</property>

<property>

    <name>mapreduce.map.output.compress</name>

    <value>false</value>

</property>

在hive/conf/hive-site.xml添加一个：

<property>

    <name>hive.execution.engine</name>

    <value>tez</value>

</property>

以上三个参数可以再hive下修改，通过"set mapreduce.framework.name;"命令查看值，

通过"set mapreduce.framework.name=yarn;"命令修改值。

配置HADOOP_CLASS  在hadoop-env.sh中添加

export TEZ_HOME=/etc/tez/tez-dist/target/tez-0.4.1-incubating-full/tez-0.4.1-incubating-full

export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_HOME}/*:${TEZ_HOME}/lib/*

export TEZ_CONF_DIR=/etc/tez/conf/tez-site.xml

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_CONF_DIR

配置完成，重新启动Hive


第四部分 安装过程中遇到的问题就解决方法

1.第一个问题就是在安装protoc的时候，执行./configure时提示找不到C

   解决方法：安装C以及C++

    yum install glibc-headers

    yum install gcc-c++

2.在下载完tez-0.4.1-incubating-src.tar.gz之后进行解压，但是没有找到.../tez-0.4.1-incubating-src/tez-dist

下没有发现target目录

   解决方法：缺少tez jars和依赖包，执行这条命令：

   mvn clean install -DskipTests=true -Dmaven.javadoc.skip=true

3.没有找到mvn

    解决方法：安装mvn

4.在配置好tez-site.xml参数之后,执行查询语句，出现tez.lib.uris路径错误

    解决方法：缺少${fs.default.name}。依赖包放在hdfs上，在hdfs的绝对路径前添加${fs.default.name}。

5.在修改完mapred-site.xml之后，hive不能正常执行

    解决方法：mapreduce.framework.name和hive.execution.engine的参数要保持一致，

             如果mapreduce.framework.name=yarn-tez，则hive.execution.engine=tez

             如果mapreduce.framework.name=yarn，则hive.execution.engine=mr

6.tez的时候查询语句出现错误vertex failed

    解决方法:将输出设置为非压缩形式，即mapreduce.map.output.compress=false

7.DEPRECATED: Configuration property hive.metastore.local no longer has any effect. Make sure to provide a valid value for hive.metastore.uris if you are connecting to a remote metastore.

环境变量配置出错，在hadoop-env.sh中添加相关配置。


第五部分 安装结果以及mr和tez的测试总结

四个节点已经全部安装了Tez,都可以通过tez正常执行,其中209,207可以正常输出结果,208,206没有输出结果.

测试结果如下：

1.通过查询插入10G的数据分别通过tez和mr

    tez:用时943s    

    mr:用时1122s    

2.对1G大小的数据进行倒序输出前10条记录

    tez:用时200s左右

    mr:用时 560s左右

3.对50G数据分组查询

    tez:用时 1428s

    mr:用时 2576s

4.对小表数据进行统计行数

   tez:Time taken: 1.269 seconds, Fetched: 1 row(s)

   mr:Time taken: 36.005 seconds, Fetched: 1 row(s)

5.对1G大小的数据进行统计

   mr:Time taken: 544.501 seconds, Fetched: 1 row(s)

   tez:Time taken: 25.666 seconds, Fetched: 1 row(s)


Tez纵向分析：

a 统计查询

统计几条记录：总记录数4：Time taken: 1.276 seconds, Fetched: 1 row(s)

统计10M数据：总记录数579631：Time taken: 1.277 seconds, Fetched: 1 row(s)

统计100M数据：总记录数5796310：Time taken: 2.915 seconds, Fetched: 1 row(s)

统计1G数据，总记录数57963100：Time taken: 25.666 seconds, Fetched: 1 row(s)

统计10G数据，总记录数579631000：Time taken: 176.39 seconds, Fetched: 1 row(s)

b 按条件统计查询：

select count(*) from t_test_1000 where age=34; 

统计10G数据，总记录数14489000：Time taken: 229.171 seconds, Fetched: 1 row(s)

c 分组排序统计查询（多个MapReduce）

select age,count(id) from t_test_1000 group by age order by age asc;

统计10G数据，总记录数579631000：Time taken: 352.427 seconds, Fetched: 33 row(s)

d 按条件分组排序统计查询

select age,count(id) from t_test_1000 group by age order by age desc having count(id)>14492000

统计10G数据，总记录数579631000：Time taken: 294.501 seconds, Fetched: 7 row(s)

e 联合查询 

大表（1G）与小表（10M）关联，Tez中已进行了优化，当大表与小表关联时，优先小表加入内存。

select a.id,a.name,b.id,b.name from t_test_1 a join t_test_100 b on a.id=b.id limit 20;

Time taken: 213.145 seconds, Fetched: 20 row(s)


mr纵向分析

a 统计查询

统计几条记录：总记录数4：mr:Time taken: 36.005 seconds, Fetched: 1 row(s)

统计10M数据：总记录数579631：Time taken: 36.708 seconds, Fetched: 1 row(s)

统计100M数据：总记录数5796310：Time taken: 39.837 seconds, Fetched: 1 row(s)

统计1G数据，总记录数57963100：Time taken: 63.206 seconds, Fetched: 1 row(s)

统计10G数据，总记录数579631000：Time taken: 373.66 seconds, Fetched: 1 row(s)

b 按条件统计查询：

select count(*) from t_test_1000 where age=34; 

统计10G数据，输出总记录数14489000：Time taken: 443.052 seconds, Fetched: 1 row(s)

c 分组排序统计查询（多个MapReduce）

select age,count(id) from t_test_1000 group by age order by age asc;

统计10G数据，总记录数579631000：Time taken: 607.55 seconds, Fetched: 33 row(s)

Stage-Stage-1: Map: 40  Reduce: 10   Cumulative CPU: 719.15 sec   HDFS Read: 10414134363 HDFS Write: 1693 SUCCESS

Stage-Stage-2: Map: 1  Reduce: 1   Cumulative CPU: 4.28 sec   HDFS Read: 4088 HDFS Write: 394 SUCCESS

d 按条件分组排序统计查询

select age,count(id) from t_test_1000 group by age having count(id)>14492000 order by age desc；

统计10G数据，总记录数579631000：
e 联合查询

大表与小表关联，小表（10M）在前大表（1G）在后

select a.id,a.name,b.id,b.name from t_test_1 a join t_test_100 b on a.id=b.id limit 20;

Time taken: 51.731 seconds, Fetched: 20 row(s)

大表与小表关联，小表（10M）在前大表（10G）在后

select a.id,a.name,b.id,b.name from t_test_1 a join t_test_1000 b on a.id=b.id limit 20;

Time taken: 233.442 seconds, Fetched: 20 row(s)

大表与小表关联，大表（10G）在前小表（10M）在后

Time taken: 235.153 seconds, Fetched: 20 row(s)


将统计结果以统计表形式呈现如下：

方式

数据大小

Tez方式

Mr方式

统计查询

统计几条记录

1.276s

36.005s

统计10M数据

1.277s

36.708s

统计100M数据

2.914s

39.837s

统计1G数据

25.666s

63.206s

统计10G数据

176.39s

373.66s

按条件统计查询

统计10G数据

229.171s

443.052s

分组排序统计查询

统计10G数据

352.427s

607.55s

按条件分组排序统计查询

统计10G数据

294.501s

/

联合查询

大表（1G）小表（10M）

213.145s

51.73s


总结：

Tez更适合对大量数据进行排序

在有排序的情况下tez的效率是mr的2.5~3.5倍。

在没有排序的情况下，tez的效率是mr的1.5~2倍。

在执行join的时候Tez的效率明显低于mr的执行效率，

tez执行时间不稳定，第一次执行时间较长，以后再次执行时间减少。






wulicode
关注
专栏目录
【大数据入门核心技术-Tez】（二）Tez安装
12-26 513
各版本下载地址当前安装包下载地址。安装1、解压tar zxvf apache-tez-0.10.1-bin.tar.gz -C /usr/local cd /usr/local mv apache-tez-0.10.1-bin tez-0.10.1 2、配置环境变量 vi /etc/profile export TEZ_HOME=/usr/local/tez-0.10.1 export PATH=$PATH:$TEZ_HOME/bin source /etc/profile版本下载地址当前安装包下载地址。安
Tez - 安装
BlessingXRY的博客
09-21 1379
一、Tez 安装 1 下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.9.0/ 2 二进制包安装 2.1 解压并重命名 [root@hadoop01 ~]# tar -zxvf /home/apache-tez-0.9.0-bin.tar.gz -C /usr/local/ [root@hadoop01 ~]# mv /usr/l...
解决Tez报错问题
最新发布
ABU009的博客
09-17 527
#Tez报错问题#hive
安装Tez引擎
weixin_43558205的博客
01-30 498
Hive安装部署 一、Hive安装及配置 ❗️由于我打不出$符号在线面，统一用「」代替 ❗️附件包在本文最下方 把apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下 解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面 tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/ 修改apache-hive-3.1.2-bin.tar.gz的名称.
tez的安装部署
秋雨ヾ的博客
08-20 1325
1.下载tez的依赖包：http://tez.apache.org apache-tez-0.9.1-bin.tar.gz 2.上传tez的tar包到linux 3.将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下 hadoop fs -mkdir /tez hadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz/ /tez 4.解压缩apache-tez-0.9.1-bin.tar.gz tar -zxvf
Apache Tez 安装与使用指南
gitblog_00917的博客
08-06 601
Apache Tez 安装与使用指南 tezApache ServiceComb的文档，用于获取Apache ServiceComb的文档和信息。适合用于需要管理Apache ServiceComb的文档和信息。特点包括简单易用、高性能和与Apache ServiceComb生态系统的紧密集成。项目地址:https://gitcode.com/gh_mirrors/te/tez 项目介绍 Apa...
tez 工具安装
zuopiezia的博客
02-21 795
tez 安装 1.##下载maven 工具 wget http://mirrors.shu.edu.cn/apache/maven/binaries/apache-maven-3.1.1-bin.tar.gz tar -zxvf apache-maven-3.1.1-bin.tar.gz #设置环境变量/etc/profile export MAVEN_HOME=/usr/local/...
tez安装、配置
赶路人儿
04-25 5389
hive on tez 的方式有两种安装配置方式：   ● 在hadoop中配置   ● 在hive中配置 比较:  当已经有了稳定的hadoop集群,而不想动这个集群时,可以考虑采用第二种方式配置,第二种方式配置后只有hive的程序可以动态的切换执行引擎:set hive.execution.engine=mr;// tez/mr ;而其他的mapreduce程序只能在yarn上运行;
Tez安装配置
qq_45143653的博客
06-29 1317
介绍：hive默认计算引擎为MR，而MR的特性决定了它的运算速度并不是太让人满意。在此将其运算引擎修改为Tez（当然在此需要先安装Tez），Tez基于内存的计算使得hive可以有更高的运算效率对于 Tez 0.8.3 及更高版本，Tez 需要 Apache Hadoop 为 2.6.0 或更高版本。 对于 Tez 0.9.0 及更高版本，Tez 需要 Apache Hadoop 为 2.7.0 或更高版本。一、下载tez的依赖包：http://tez.apache.org 然后解压apache-tez-0.
tez-0.10.1.zip
03-22
`tez-0.10.1.zip` 中包含的 `tez-ui.war` 文件是 Tez 用户界面的 Web 应用程序，它提供了对 Tez DAGs 的图形化视图，帮助用户理解任务执行过程，监控作业状态和性能。通过这个界面，开发者可以调试作业，分析瓶颈，...
运行引擎Tez.zip
04-09
在本文中，我们将深入探讨Tez的核心特性、工作原理以及它如何提升Hive查询的性能。 **1. Tez简介** Tez是由Facebook贡献给Apache Hadoop项目的一个模块，旨在解决MapReduce在处理复杂数据处理任务时的性能瓶颈。与...
Tez线上部署及性能测试:
奈文摩尔ST
04-11 507
背景： 如果作业由多个MR任务完成，则必然经过多次完整的Map–shuffer–Reduce，中间节点的数据多次写入HDFS，浪费IO读写。（可以将HDFS理解为多个任务之间的共享存储。）Tez的引入可以较小的代价的解决这一问题。 Tez采用了DAG（有向无环图）来组织MR任务。 核心思想：将Map任务和Reduce任务进一步拆分，Map任务拆分为Input-Processor-Sort-M...
hive: 优化配置及bug查询路径
皮皮blog
02-07 1876
mapper数量与输入文件的split数息息相关，在Hadoop源码org.apache.hadoop.mapreduce.lib.input.FileInputFormat类中可以看到split划分的具体逻辑。如果想增大mapper数，除了降低mapred.min.split.size之外，也可以调高mapred.map.tasks。参数mapred.min.split.size（默认值1B）和mapred.max.split.size（默认值64MB）分别用来指定split的最小和最大大小。
CDH6.0.1基于centos7编译成功的tez(0.9.1)文件.zip
10-08
7. **测试验证**：通过运行简单的Tez作业来验证安装和配置是否正确。 在CDH6.0.1中，Tez与YARN（Yet Another Resource Negotiator）紧密协作，提供了一个灵活的任务调度和执行模型。它改进了MapReduce的性能，特别...
HIVE-TEZ引擎配置安装
无语梦醒的博客
07-19 1721
HIVE安装TEZ引擎的配置安装，包括TEZ编译，PROTOBUF安装，LZO安装编译等
Tez安装
wangfeinilin的专栏
03-03 2941
1. 部署hadoop 2.2.0版本。注意修改tez的”pom.xml”中”hadoop.version”为当前环境下的版本号，默认情况下无需修改。 2. 在tez主文件下采用“mvn clean install -DskipTests=true -Dmaven.javadoc.skip=true”建立tez，下载jar包。先安装maven，然后需保证在联网情况下安装。 问题： protoc
tez 安装教程
北京小辉
06-02 921
环境版本 CDH5.16.2 hadoop 2.7.0-cdh5.16.2 安装前期准备 1、This assumes that you have already installed JDK8 or later and Maven 3 or later. 2、Tez also requires Protocol Buffers 2.5.0, including the protoc-compiler. This can be downloaded from https://github.com/google
Hive2安装Tez计算引擎
weixin_38620636的博客
04-27 848
ApacheTEZ®项目旨在构建一个应用程序框架，该框架允许使用复杂的有向无环图来处理数据。它当前构建在Apache Hadoop YARN之上。Tez的2个主要设计主题是：通过以下方式增强最终用户的能力：富有表现力的数据流定义API灵活的输入-处理器-输出运行时模型不可知数据类型简化部署执行性能与Map Reduce相比性能提升最佳资源管理在运行时计划重新配置动态物理数据流决策。
Hive的安装及集成Tez为执行引擎
cc__cc___的博客
11-29 2293
主要是yarn.nodemanager.vmem-check-enabled以及yarn.nodemanager.pmem-check-enabled这两项配置。切换Tez执行引擎后，hive启动以及HQL执行的日志较多，可参考前面第11步，将日志打印级别设为WARN或者ERROR。Tez介绍：https://www.infoq.cn/article/apache-tez-saha-murthy。3、hive.cli.tez.session.async：是否异步启动Tez会话，默认为true。
Tez的简介以及安装配置
hailunw的专栏
07-07 1855
Tez简介 Tez是一个Hive的运行引擎，由于没有中间存盘的过程，性能优于MR。Tez可以将多个依赖作业转换成一个作业，这样只需要写一次HDFS，中间节点少，提高作业的计算性能。 Tez的安装步骤
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值