Hive On LLAP搭建&常见问题
基本概述
Hive在2.0之后,推出一个新特性LLAP(Live Long And Process),可以显著提高查询效率。
LLAP是一个常驻于Yarn的进程,并不是一个执行引擎,它将DataNode数据预先缓存到内存中,然后交由DAG引擎进行查询、处理任务使用。部分查询、权限控制将由LLAP执行,短查询任务的结果会很快的返回。
相对于Hive 1.x,提升大约25倍的性能。
安装准备
Apache Slider安装
LLAP需要常驻于Yarn之上,所以需要提前安装Apache Slider。当然,在Hadoop 3.x中,Yarn已经支持常驻任务的运行,就不需要对Apache Slider进行安装了。
首先下载Slider,如果网速较慢,可以先从Github中下载zip包,再上传到服务器进行解压。
git clone https://github.com/apache/incubator-retired-slider/tree/branches/branch-0.90.2
这里将slider安装包放置到/opt/frames/目录下,然后对安装包进行解压。
因为编译过程需要maven,所以使用脚本对maven进行安装。
# 进入自动化脚本安装目录
cd /home/hadoop/automaticDeploy/
# 编辑frames.txt,添加maven配置
apache-maven-3.6.3-bin.tar.gz true
# 使用脚本安装maven
./systems/configureMaven.sh
# 初始化环境变量
source /etc/profile
# 查看是否安装成功
mvn --version
进入到Slider源码目录下,进行编译。
# 进入slider源码目录
cd apache-slider-0.90.2-incubating/
# 进行编译
mvn clean site:site site:stage package -DskipTests
解压编译后的文件。
mkdir /opt/app/slider/
tar -zxvf slider-assembly/target/slider-0.90.2-incubating-all.tar.gz -C /opt/app/slider/
编辑conf/slider-env,添加环境变量。
# 进入slider安装目录
cd /opt/app/slider/slider-0.90.2-incubating
# 编辑conf/slider-env,添加以下内容
export JAVA_HOME=${JAVA_HOME}
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop/
编辑conf/slider-client.xml,指定Zookeeper地址,Zookeeper稍后使用脚本进行安装,这里提前规定它安装到node01、node02、node03节点。
<property>
<name>hadoop.registry.zk.quorum</name>
<value>node01:2181,node02:2181,node03:2181</value>
</property>
将Slider添加到PATH环境变量中。
vim /etc/profile
# 配置环境变量
export SLIDER_HOME=/opt/app/slider/slider-0.90.2-incubating
export PATH=$PATH:$SLIDER_HOME/bin
# 配置完成后,初始化环境变量
source /etc/profile
查看是否配置成功。
slider version
Zookeeper安装
因为Slider依赖Zookeeper,所以需要在各个节点提前进行安装。这里直接使用脚本来完成。
首先进入脚本目录,分别在node01、node02、node03中编辑frames.txt配置文件,添加zookeeper的安装信息。
cd /home/hadoop/automaticDeploy/
vim frames.txt
# 添加如下信息
zookeeper-3.4.10.tar.gz true node01,node02,node03
然后将zookeeper-3.4.10.tar.gz安装包上传到各节点的/opt/frames目录下,如果使用frames.zip包,则安装包已经在对应目录中。这里也可以安装其它版本,自行更改配置即可。
在node01、node02、node03上调用脚本进行一键安装。
/home/hadoop/automaticDeploy/hadoop/installZookeeper.sh
然后初始化环境变量即可。
source /etc/profile
因为启动时需要在各个节点执行启动命令,为了方便起见,使用脚本安装Zookeeper后,启动命令已经被封装为脚本zookeeper.sh,在任意一台节点执行便可以一键完成Zookeeper集群的启停:
# 在任意一台节点执行即可
zookeeper.sh start
环境搭建
首先编辑hive-site.xml,配置LLAP,这里hive.llap.daemon.service.hosts配置为运行在yarn上的LLAP服务名,这里可以自定义设置,但要与下一步中使用hive命令生成的LLAP环境包中的服务名一致。
<property>
<name>hive.zookeeper.quorum</name>
<value>node01:2181,node02:2181,node03:2181</value>
</property>
<property>
<name>hive.execution.mode</name>
<value>llap</value>
</property>
<property>
<name>hive.llap.execution.mode</name>
<value>all</value>
</property>
<property>
<name>hive.llap.daemon.service.hosts</name>
<value>@llap_server</value>
</property>
然后,使用Hive命令生成LLAP环境包,它包含LLAP运行所需依赖、LLAP启动脚本。其中–name参数指定的便是LLAP服务名。
# 使用命令生成的llap环境包会存放在当前目录中
# 所以提前进入/opt/app目录,避免llap环境包生成到其它目录
cd /opt/app
# instances指定节点数量;executors指定每个节点执行器数量
# iothread指定实例的IO线程数
# size指定container内存大小
# xmx指定container JVM堆大小
hive --service llap --name llap_server \
--instances 2\
--cache 512m\
--executors 2\
--iothreads 2\
--size 1024m\
--xmx 512m\
--loglevel INFO\
--args "-XX:+UseG1GC -XX:+ResizeTLAB -XX:+UseNUMA -XX:-ResizePLAB -XX:MaxGCPauseMillis=200"\
--javaHome $JAVA_HOME
在运行前,需要在各个节点确认关闭python的ssl功能,避免因为在集群中进行https校验,而导致llap从节点无法向主节点汇报心跳而关闭。
vim /etc/python/cert-verification.cfg
# 确保以下参数为disable
[https]
verify=disable
然后,因为llap使用的执行引擎为tez,而当前安装的tez-0.9.1版本自带的hadoop依赖为2.7.0,集群hadoop版本为2.7.7,所以在执行SQL时会抛出异常:
org.apache.hadoop.tracing.SpanReceiverHost.getInstance(Lorg/apache/hadoop/conf/Configuration;)Lorg/apache/hadoop/tracing/SpanReceiverHost;
这是因为hadoop 2.7.3中更改了SpanReceiverHost.getInstance方法而导致的,所以,需要替换掉llap中的tez依赖(如果使用更高版本的tez,则不需要进行替换):
# 进入生成的llap目录中,这里以llap-slider-20Jan2021为例
cd llap-slider-20Jan2021/
# 解压llap依赖包
unzip llap-20Jan2021.zip -d unzipped
cd unzipped/package/files
tar -zxvf llap-20Jan2021.tar.gz
# 替换Hadoop Jar包
cd lib/tez
cp ../hadoop-common-2.7.7.jar ./
cp /opt/app/hadoop-2.7.7/share/hadoop/common/lib/hadoop-annotations-2.7.7.jar ./
cp /opt/app/hadoop-2.7.7/share/hadoop/common/lib/hadoop-auth-2.7.7.jar ./
cp /opt/app/hadoop-2.7.7/share/hadoop/hdfs/hadoop-hdfs-2.7.7.jar ./
cp /opt/app/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-client-common-2.7.7.jar ./
cp /opt/app/hadoop-2.7.7/share/hadoop/yarn/hadoop-yarn-api-2.7.7.jar ./
rm -rf hadoop-common-2.7.0.jar hadoop-annotations-2.7.0.jar hadoop-auth-2.7.0.jar hadoop-hdfs-2.7.0.jar hadoop-mapreduce-client-common-2.7.0.jar hadoop-yarn-api-2.7.0.jar
# 返回到llap-slider-20Jan2021/unzipped/package/files目录
cd ../../
# 删除旧的压缩包
rm -rf llap-20Jan2021.tar.gz
# 重新打包
tar -zcvf llap-20Jan2021.tar.gz *
# 删除旧的文件
rm -rf bin conf config.json lib
# 返回到llap-slider-20Jan2021/unzipped目录
cd ../../
# 将unzipped文件重新打包
zip -r llap-20Jan2021.zip *
# 拷贝到原目录中覆盖旧的zip包
rm -rf ../llap-20Jan2021.zip
cp llap-20Jan2021.zip ../
# 回到llap-slider-20Jan2021目录,删除unzipped目录
rm -rf unzipped/
在启动LLAP前,保证zookeeper已经启动,否则会报错:
2021-01-21 07:08:36,668 [main-SendThread(node02:2181)] WARN zookeeper.ClientCnxn - Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect
Exception in thread Thread-2:
Traceback (most recent call last):
File "/usr/lib64/python2.7/threading.py", line 811, in __bootstrap_inner
self.run()
File "/usr/lib64/python2.7/threading.py", line 764, in run
self.__target(*self.__args, **self.__kwargs)
File "/opt/app/slider/slider-0.90.2-incubating/bin/slider.py", line 172, in print_output
(line, done) = read(src, line)
File "/opt/app/slider/slider-0.90.2-incubating/bin/slider.py", line 149, in read
o = c.decode('utf-8')
File "/usr/lib64/python2.7/encodings/utf_8.py", line 16, in decode
return codecs.utf_8_decode(input, errors, True)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xe6 in position 0: unexpected end of data
最后,进入到生成的llap目录中,执行run.sh。
# 这里,生成的llap目录为llap-slider-20Jan2021
cd llap-slider-20Jan2021/
./run.sh
llap运行后,可以在yarn监控节点看到运行的task进程。
在各个节点上使用 jps 命令进行查看,可以找到SliderApplicationMaster进程,还有两个LlapDaemon守护进程,说明已经成功运行。
可以使用命令停止llap。
slider stop llap_server
也可以使用hive命令查看llap状态。
hive --service llapstatus --name llap_server
最后,创建表,并插入数据,看是否执行成功。
create table llap_test (id int ,name string);
insert into llap_test values(1, 'zs');
后话
至此,LLAP已经搭建完成,如果有帮助的,记得点赞、关注。在公众号《数舟》中,回复【10124】获取当前PDF版手册,也可以免费获取专栏《数据仓库》配套的视频课程、大数据集群自动安装脚本,并获取进群交流的途径。
我所有的大数据技术内容也会优先发布到公众号中。如果对某些大数据技术有兴趣,但没有充足的时间,在群里提出,我为大家安排分享。
公众号自取: