HIVE LLAP 测试和分析

于 2021-09-29 16:15:48 发布
阅读量707 收藏 3
点赞数
分类专栏： hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/houzhizhen/article/details/120459272
版权

由于 LLAP 服务一直运行不释放。整个集群可以有一个 LLAP 服务，也可以有多个 LLAP 服务。提交LLAP 服务时指定 LLAP 到哪个队列。每个 LLAP 都有唯一的名称，用户提交作业时指定提交到哪个 LLAP中。

生成LLAP 服务程序

每个用户都可以执行生成 LLAP 服务程序，运行此程序，仅仅根据参数生成运行 LLAP 需要的程序和配置。

hive --service llap --name llap-demo --instances 1 --cache 128m --executors 3 --iothreads 2 --size 1024m --xmx 512m --queue default --loglevel INFO

重点的参数

参数名称参数说明
servicellap, 调用 hive 的 llap service，这个是固定值
nameLLAP 的名称，必须唯一（所有的 LLAP 服务必须用不同的名称）。由于 LLAP 使用 Zookeeper 做服务发现，启动此 LLAP 服务时，注册到 Zookeeper 的相关目录里。
instances容器的个数
cache缓存的大小
executors一个容器内的执行线程数，一个 执行线程处理一个 Task。
iothreads读取数据线程和执行线程是不同的线程。读取数据线程读取数据，并准备成执行线程所需要的列执行的格式
size容器的内存大小，指向 ResourceManager 申请容器的大小。
xmx容器的堆内存大小
queue此 LLAP 服务提交到哪个队列里。
loglevel容器的日志级别

所有的参数

usage: llap
 -a,--args <args>                                         java arguments to the llap instance
 -auxhive,--auxhive <auxhive>                             whether to package the Hive aux jars (true by default)
 -b,--service-am-container-mb <b>                         The size of the service AppMaster container in MB
 -c,--cache <cache>                                       cache size per instance
 -d,--directory <directory>                               Temp directory for jars etc.
 -e,--executors <executors>                               executor per instance
 -H,--help                                                Print help information
 -h,--auxhbase <auxhbase>                                 whether to package the HBase jars (true by default)
    --health-init-delay-secs <health-init-delay-secs>     Delay in seconds after which health percentage is monitored (Default:
                                                          400)
    --health-percent <health-percent>                     Percentage of running containers after which LLAP application is
                                                          considered healthy (Default: 80)
    --health-time-window-secs <health-time-window-secs>   Time window in seconds (after initial delay) for which LLAP application
                                                          is allowed to be in unhealthy state before being killed (Default: 300)
    --hiveconf <property=value>                           Use value for given property. Overridden by explicit parameters
 -i,--instances <instances>                               Specify the number of instances to run this on
 -j,--auxjars <auxjars>                                   additional jars to package (by default, JSON SerDe jar is packaged if
                                                          available)
    --javaHome <javaHome>                                 Path to the JRE/JDK. This should be installed at the same location on all
                                                          cluster nodes ($JAVA_HOME, java.home by default)
 -l,--loglevel <loglevel>                                 log levels for the llap instance
    --logger <logger>                                     logger for llap instance ([RFA], query-routing, console
 -n,--name <name>                                         Cluster name for YARN registry
    --output <output>                                     Output directory for the generated scripts
 -q,--queue <queue>                                       The queue within which LLAP will be started
 -s,--size <size>                                         container size per instance
    --service-appconfig-global <property=value>           Property (key=value) to be set in the global section of the Service
                                                          appConfig
    --service-default-keytab                              try to set default settings for Service AM keytab; mostly for dev testing
    --service-keytab <service-keytab>                     Service AM keytab file name inside service-keytab-dir
    --service-keytab-dir <service-keytab-dir>             Service AM keytab directory on HDFS (where the headless user keytab is
                                                          stored by Service keytab installation, e.g. .yarn/keytabs/llap)
    --service-placement <service-placement>               Service placement policy; see YARN documentation at
                                                          https://issues.apache.org/jira/browse/YARN-1042. This is unnecessary if
                                                          LLAP is going to take more than half of the YARN capacity of a node.
    --service-principal <service-principal>               Service AM principal; should be the user running the cluster, e.g.
                                                          hive@EXAMPLE.COM
 -t,--iothreads <iothreads>                               executor per instance
 -w,--xmx <xmx>                                           working memory size
 -z,--startImmediately                                    immediately start the cluster

生成的文件

执行之后，生成如 “llap-yarn-29Sep2021” 的目录，以当前日期为后缀。里面有三个文件：

  • Yarnfile ： Yarn Service 的定义文件。
    run.sh： 执行此命令启动 LLAP 服务。
    llap-29Sep2021.tar.gz: LLAP 服务用的 jar 包。
Yarnfile

Yarnfile 的内容如下：

{
  "name": "llap-demo",
  "version": "1.0.0",
  "queue": "",
  "configuration": {
    "properties": {
      "yarn.service.rolling-log.include-pattern": ".*\\.done",
      "yarn.component.placement.policy" : "4",
      "yarn.container.health.threshold.percent": "80",
      "yarn.container.health.threshold.window.secs": "300",
      "yarn.container.health.threshold.init.delay.secs": "400"
    }
  },
  "components": [
    {
      "name": "llap",
      "number_of_containers": 1,
      "launch_command": "$LLAP_DAEMON_BIN_HOME/llapDaemon.sh start &> $LLAP_DAEMON_TMP_DIR/shell.out",
      "artifact": {
        "id": ".yarn/package/LLAP/llap-29Sep2021.tar.gz",
        "type": "TARBALL"
      },
      "resource": {
        "cpus": 1,
        "memory": "1024"
      },
      "configuration": {
        "env": {
          "JAVA_HOME": "/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home",
          "LLAP_DAEMON_HOME": "$PWD/lib/",
          "LLAP_DAEMON_TMP_DIR": "$PWD/tmp/",
          "LLAP_DAEMON_BIN_HOME": "$PWD/lib/bin/",
          "LLAP_DAEMON_CONF_DIR": "$PWD/lib/conf/",
          "LLAP_DAEMON_LOG_DIR": "<LOG_DIR>",
          "LLAP_DAEMON_LOGGER": "query-routing",
          "LLAP_DAEMON_LOG_LEVEL": "INFO",
          "LLAP_DAEMON_HEAPSIZE": "512",
          "LLAP_DAEMON_PID_DIR": "$PWD/lib/app/run/",
          "LLAP_DAEMON_LD_PATH": "/usr/local/hadoop/lib/native",
          "LLAP_DAEMON_OPTS": " -Dhttp.maxConnections=4 ",

          "APP_ROOT": "<WORK_DIR>/app/install/",
          "APP_TMP_DIR": "<WORK_DIR>/tmp/"
        }
      }
    }
  ],
  "kerberos_principal" : {
    "principal_name" : "",
    "keytab" : ""
  },
  "quicklinks": {
    "LLAP Daemon JMX Endpoint": "http://llap-0.${SERVICE_NAME}.${USER}.${DOMAIN}:15002/jmx"
  }
}
run.sh

run.sh 先 stop 服务，然后 destroy, 然后重新执行。

#!/bin/bash -e

BASEDIR=$(dirname $0)
yarn app -stop llap-demo
yarn app -destroy llap-demo
hdfs dfs -mkdir -p .yarn/package/LLAP
hdfs dfs -copyFromLocal -f $BASEDIR/llap-29Sep2021.tar.gz .yarn/package/LLAP
yarn app -launch llap-demo $BASEDIR/Yarnfile
llap-${CREATE_DATE}.tar.gz

对 llap-${CREATE_DATE}.tar.gz 解压

bin

包含 service 的运行命令

  • llap-daemon-env.sh
  • llapDaemon.sh
  • runLlapDaemon.sh
config.json

生成 service 的参数，都以 JSON 的格式放到此文件里。

conf 生成的配置目录。其中 llap-daemon-site.xml 包含 LLAP 的参数。包括
core-site.xml			hive-site.xml			llap-udfs.lst
hadoop-metrics2.properties	llap-daemon-log4j2.properties	tez-site.xml
hdfs-site.xml			llap-daemon-site.xml		yarn-site.xml
llap-daemon-site.xml

可以看到，我们命令中输入的参数生成了 llap 服务配置的参数。

<?xml version="1.0" encoding="UTF-8" standalone="no"?><configuration>
<property><name>hive.llap.daemon.service.hosts</name><value>@llap-demo</value><final>false</final><source>CLI direct</source></property>
<property><name>hive.llap.io.memory.size</name><value>134217728</value><final>false</final><source>CLI direct</source></property>
<property><name>hive.llap.daemon.yarn.container.mb</name><value>1024</value><final>false</final><source>CLI direct</source></property>
<property><name>hive.llap.io.threadpool.size</name><value>2</value><final>false</final><source>CLI direct</source></property>
<property><name>hive.llap.daemon.num.executors</name><value>3</value><final>false</final><source>CLI direct</source></property>
<property><name>hive.llap.daemon.memory.per.instance.mb</name><value>512</value><final>false</final><source>CLI direct</source></property>
lib

lib 目录是运行 llap 的 jar 包。

运行 Service

执行 run.sh 文件，可以看到 RerouceManager 上出现了一个 Application。
在这里插入图片描述

PortParameterMean
15002hive.llap.daemon.web.portLLAP daemon web UI port.
15003hive.llap.daemon.output.service.portLLAP daemon output service port
15004hive.llap.management.rpc.portRPC port for LLAP daemon management service.
15551hive.llap.daemon.yarn.shuffle.portYARN shuffle port for LLAP-daemon-hosted shuffle.
0hive.llap.daemon.rpc.portThe LLAP daemon RPC port.

LLAP web

在这里插入图片描述

LLAP zookeeper

从以下可以看到，每个 LLAP 服务都在 /llap-unsecure 的当前用户下有一个目录。workers目录下有两个文件，一个是 slot 文件，一个是 worker 文件。每个容器一个 slot znode，一个 worker znode。打开 slot znode，有一个 UUID。打开 worker znode，有LLAP 容器的相关信息，并且信息中有 “registry.unique.id”:“34850c09-d8b1-415b-8572-139456d476fc” 和 slot znode 的内容对应。

[zk: localhost:2181(CONNECTED) 6] get /llap-unsecure/user-houzhizhen/llap-demo/workers/slot-0000000000 
34850c09-d8b1-415b-8572-139456d476fc
[zk: localhost:2181(CONNECTED) 7] get /llap-unsecure/user-houzhizhen/llap-demo/workers/worker-0000000026 
{"type":"JSONServiceRecord","external":[{"api":"services","addressType":"uri","protocolType":"webui","addresses":[{"uri":"http://localhost:15002"}]}],"internal":[{"api":"llap","addressType":"host/port","protocolType":"hadoop/IPC","addresses":[{"host":"localhost","port":"46480"}]},{"api":"llapmng","addressType":"host/port","protocolType":"hadoop/IPC","addresses":[{"host":"localhost","port":"15004"}]},{"api":"shuffle","addressType":"host/port","protocolType":"tcp","addresses":[{"host":"localhost","port":"15551"}]},{"api":"llapoutputformat","addressType":"host/port","protocolType":"hadoop/IPC","addresses":[{"host":"localhost","port":"15003"}]}],"hive.llap.daemon.container.id":"container_1632897605333_0007_01_000002","hive.llap.daemon.yarn.container.mb":"2048","hive.llap.auto.auth":"false","hive.llap.io.allocator.mmap":"false","hive.llap.io.use.lrfu":"true","hive.llap.io.memory.size":"134217728","hive.llap.management.rpc.port":"15004","hive.llap.allow.permanent.fns":"true","hive.llap.daemon.rpc.port":"46480","hive.llap.daemon.web.ssl":"false","hive.llap.auto.max.input.size":"10737418240","hive.llap.io.lrfu.lambda":"1.0E-6","hive.llap.daemon.nm.address":"localhost:38742","llap.daemon.metrics.sessionid":"40fc27da-f0d3-458b-9059-d46c8dc32132","hive.llap.auto.enforce.vectorized":"true","hive.llap.daemon.service.refresh.interval.sec":"60s","hive.llap.io.orc.time.counters":"true","hive.llap.auto.max.output.size":"1073741824","hive.llap.io.allocator.direct":"true","registry.unique.id":"34850c09-d8b1-415b-8572-139456d476fc","hive.llap.daemon.web.port":"15002","hive.llap.object.cache.enabled":"true","hive.llap.execution.mode":"all","hive.llap.daemon.yarn.shuffle.port":"15551","hive.llap.daemon.output.service.port":"15003","hive.llap.daemon.download.permanent.fns":"false","hive.llap.io.memory.mode":"cache","hive.llap.daemon.task.scheduler.wait.queue.size":"10","hive.llap.daemon.memory.per.instance.mb":"1024","hive.llap.auto.enforce.tree":"true","hive.llap.io.threadpool.size":"2","hive.llap.daemon.service.hosts":"@llap-demo","hive.llap.auto.enforce.stats":"true","hive.llap.auto.allow.uber":"false","hive.llap.daemon.num.executors":"1"}

Hive测试

hive-site.xml 添加以下配置，注意 hive.llap.daemon.service.hosts 必须是 “@” + ${LLAP_SERVICE_NAME}

<property>
<name>hive.execution.engine</name>
<value>tez</value>
</property>
<property>
<name>hive.llap.execution.mode</name>
<value>all</value>
</property>
<property>
<name>hive.execution.mode</name>
<value>llap</value>
</property>
<property>
<name>hive.llap.daemon.service.hosts</name>
<value>@llap-demo</value>
</property>
<property>
<name>hive.zookeeper.quorum</name>
<value>zk_ip:zk_port</value>
</property>
<property>
<name>hive.llap.daemon.memory.per.instance.mb</name>
<value>2048</value>
</property>
<property>
<name>hive.llap.daemon.num.executors</name>
<value>2</value>
</property>
<property>
<name>hive.server2.tez.default.queues</name>
<value>root.default</value>
</property>
<property>
<name>hive.server2.tez.initialize.default.sessions</name>
<value>true</value>
</property>
<property>
<name>hive.server2.tez.sessions.per.default.queue</name>
<value>2</value>
</property>

LLAP 测试

我们用 tpch-ds 测试，执行三次 query1.sql。

use tpcds_bin_partitioned_orc_2;
source query1.sql;
source query1.sql;
source query1.sql;

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
我们发现，第一次执行用 7.47 秒，第2次执行用 4.31 秒，第 3 次执行用 4.05 秒。因为第 1 次执行后，LLAP 把一些原始数据缓冲到堆外内存里。

非 LLAP 测试

set hive.execution.mode=tez;
set hive.llap.execution.mode=none;
use tpcds_bin_partitioned_orc_2;
source query1.sql;
source query1.sql;
source query1.sql;

为了公平，测试之前先杀死 LLAP 的资源。
第 1 次运行。
在这里插入图片描述
第 2 次运行：
在这里插入图片描述
第 3 次运行：
在这里插入图片描述
可以看出，每次运行都用 11 秒左右。

问题总结

  1. 没办法指定容器的cpu 的 vcores 数量。我们指定 executors 参数，是控制启动后的容器中，启动多少个计算线程，并不控制从 ResourceManager 中申请多少 CPU 资源。向 ResourceManager 申请的 CPU 资源，是生成的 Yarnfile 中的以下参数控制。
"resource": {
        "cpus": 1,
        "memory": "1024"
      },
  1. 不能在一台服务器上启动两个 LLAP 服务。
    因为

其他问题

  1. 用户自定义 jar 包。
houzhizhen
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop、Spark和Hive调优优化原理
程序员光剑
08-03 938
1995年伊藤博文等人提出了MapReduce计算框架，将海量的数据分布式地处理在多台计算机上，并通过分割输入数据集并将其划分为多个任务来并行执行计算，最后合并结果得到整体输出。然而随着互联网和大数据的普及以及处理器性能的提升，当时的技术已经远远超过了当时能够想象的范围。这段时间MapReduce计算框架已经成为一个主流的开源计算框架，包括Hadoop、Pig、Hive、Mahout、Storm等。
hive安装LLAP
swimhigh的博客
10-18 1966
hive安装LLAP 参考URL https://blog.csdn.net/zhoudetiankong/article/details/73089225 slider下载与编译## 参考URL:https://blog.csdn.net/qingzhenli/article/details/72688539 我使用的slider版本是0.92.0-incubating，下载地址：https:/...
Hive LLAP&ApacheTez;
01-11
hlive LLAP
hive LLAP
qq_35240226的博客
01-14 1453
LLAP提供了一种混合模型，它包含一个长驻进程，用于直接与DataNode 进行IO交互，并紧密地集成在基于DAG的框架中。Caching，pre-fetching，部分query的执行，以及 access control被移动到此进程执行。 大部分Small/short queries被此进程直接处理。而如果是大型任务（如在reduce阶段中的大型shuffle） 则仍被标准的yarn con...
Hive LLAP
堅持╅信念★
10-24 1458
文章目录1 hive llap该怎么部署2 注意事项3 llap初始化4 性能测试5 总结链接 微信公众号：苏言论 理论联系实际，畅言技术与生活。 LLAP是hive 2.0.0版本引入的新特性，hive官方称为(Live long and process)，hortonworks公司的CDH称为(low-latency analytical processing)，其实它们都是一样的，都是实现将数据预取、缓存到基于yarn运行的守护进程中，降低和减少系统IO和与HDFS DataNode的交互，具体的
Hive 新特性 LLAP
jayjwes190的专栏
02-12 312
LLAP Overview Persistent Daemon Execution Engine Query Fragment Executio...
hive2.0的LLAP特性
lvguichen88的博客
04-18 9493
hive
Hive llap服务安装说明及测试
qingzhenli的博客
05-25 6812
1.简介说明 apache hive去年12月发布了2.1.1版本，从Hive 2.0引入了LLAP（Live Long And Process），2.1进行了比较大的优化，可以说hive已经走向了内存计算，目前hortonworks测试llap +tez比hive1.x快了25倍，禁不住诱惑来玩一下 2.LLAP安装 2.1依赖 Hive llap服务安装依赖先安装tez，和slid
大数据之Hive常用Api（新手老手皆宜）
大数据Hive教程
01-06 1364
Hive 支持的数据类型 Hive 支持原始数据类型和复杂数据类型, 原始数据类型包含数值型/Boolean/字符串/时间戳，复杂数据类型包含 map/struct/array/union Hive 支持的原始数据类型 Hive 支持的复杂树类型 说明： 对于整数类型数据，默认为int类型，如果需要使用其他整数类型，需要在数据上通过Y/S/L来进行标识。小数的默认类型是doubl...
hive3.1.2编译.doc
08-24
4. `llap-server/src/java/org/apache/hadoop/hive/llap/daemon/impl/TaskExecutorService.java` 5. `ql/src/test/org/apache/hadoop/hive/ql/exec/tez/SampleTezSessionState.java` 6. `ql/src/java/org/apache/...
Ambari的hive组件插入中文存在乱码问题
周源的专栏
08-29 1950
Ambari的hive组件插入中文，存在乱码： 最初怀疑是编码问题，试了各种编码无效，后来发现ambari安装的hive组件是1.2.*版本的。 然后下载了hive 1.2.*和hive 2.1.*单机模式安装进行了测试，发现确实1.2.*版本存在乱码，而2.1版本的正常； 解决办法：使用hive2，但ambari中默认没有这个组件服务（默认使用hive1），无法安装。 后
Hive On LLAP搭建&常见问题
pengpengsays
01-24 1168
Hive On LLAP搭建&常见问题 基本概述 Hive在2.0之后，推出一个新特性LLAP（Live Long And Process），可以显著提高查询效率。 LLAP是一个常驻于Yarn的进程，并不是一个执行引擎，它将DataNode数据预先缓存到内存中，然后交由DAG引擎进行查询、处理任务使用。部分查询、权限控制将由LLAP执行，短查询任务的结果会很快的返回。 相对于Hive 1.x，提升大约25倍的性能。 安装准备 Apache Slider安装 LLAP需要常驻于Yarn之上，所以需
提升 Hive Query 执行效率 - Hive LLAP
li123128的博客
03-21 4529
提升 Hive Query 执行效率 - Hive LLAP 从 Hive 刚推出到现在，得益于社区对它的不断贡献，使得 Hive执行 query 效率显著提升。其中比较有代表性的功能如 Tez （将多个 job整合为一个DAG job）以及 CBO（Cost-based-optimization）。 Hive 在 2.0 版本以后推出了一个新特性名为 LLAP（Live Long And P...
hive2.0的LLAP特性及DPC-H数据性能测试测试
张伟的专栏
09-14 616
本文链接：https://blog.csdn.net/zilianxiaozhu/article/details/80320759 版权 1. hive2.x新功能及 LLap 特性介绍 1. (对于hive的介绍我就不多说了)hive 2.1 发布后增加了许多新功能，官网里面提到了以下几点(翻译): 使用Hive LLAP进行交互式查询。 LLAP在Hive 2.0中引入，在Hive 2.1中进行了改进，使其性能比Hive 1提高了25倍 强大的SQL ACI...
LLAP
架构师思考实践
08-28 7336
全称： Live Long and Process (LLAP) 在hive2.0中添加了LLAP功能（HIVE-7926），文档jira 是HIVE-9850。 配置LLAP可以参考 Configuration Properties. 中的llap部分 概览 在最近几年，hive的速度有了显著的提升，这要感谢社区贡献的多种特征和提升其中包括Tez和CBO，下边是我们要把h
【Hadoop Summit Tokyo 2016】LLAP：Hive上的次秒级分析查询
weixin_34050005的博客
02-28 247
本讲义出自Yuta Imai在Hadoop Summit Tokyo 2016上的演讲，主要分享了为什么选择LLAP，并对于LLAP的相关概念进行了分享，在演讲中还介绍了Hive 2 与LLAP的架构概览，并对于MR、Tez与Tez+LLAP的三种方式进行了比较，并分享了为什么LLAP能够让查询变得更快。 ...
hive llap 启动配置踩坑 && Presto
mnasd的博客
01-12 1387
hive llap巨坑，前段时间在研究，一直启动不成功。关键是几个空间参数的配置，只要配错了，就会出现各种奇怪的问题，日志的错误提示很少而且很模糊，官方的文档又不够明确，发现问题很难定位。总之就是很坑。 yarn队列配置 要为llap分配一条队列，这条队列有几个要注意的地方.     最大容量和最少容量必须相等，容量一定要足够，即大于hive的hive.llap.daemon.yarn.con...
hive llap 启动配置踩坑
u013024563的博客
08-09 2636
hive llap巨坑，前段时间在研究，一直启动不成功。关键是几个空间参数的配置，只要配错了，就会出现各种奇怪的问题，日志的错误提示很少而且很模糊，官方的文档又不够明确，发现问题很难定位。总之就是很坑。 yarn队列配置 要为llap分配一条队列，这条队列有几个要注意的地方. 最大容量和最少容量必须相等，容量一定要足够，即大于hive的hive.llap.daemon.yarn.conta...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值