Ambari安装Impala

简介

Impala是Cloudera开发并开源的,能查询存储在HDFS和HBase中的数据。同Hive一样,也是一种SQL on Hadoop解决方案。但Impala抛弃了MapReduce,使用更类似于传统的MPP数据库技术来提高查询速度。

Impala架构

impala_architecture.png

Impala Daemon

Impala Daemon服务对应的进程为Impalad。
Impalad负责接受来自JDBC,ODBC,Hue,Impala-shell等客户端的查询请求,并与其他Impalad进程节点分布式并行工作,并将本节点的查询结果返回给调度节点。注:调度节点即接收到查询请求的Impalad进程节点。

Impala Statestore

Impala Statestore服务对应的进程为statestored。statestored与Impalad保持心跳,获取各Impalad进程节点的健康状况,并将健康状况转发给其他Impalad进程节点。有新的查询时,调度结点不会把处理请求发送到健康状况不可用的节点上。

Impala Catalog

Impala Catalog服务对应的进程为catalogd。catalogd负责将元数据变化推送到Impalad进程节点。

查询流程

查询流程对应图示编号1-5:

1、客户端如Impala Shell向Impala Daemon发送SQL

2、Impala Daemon中的Planner解析SQL,生成逻辑执行计划并优化,将物理执行计划发送给调度器Coordinator

3、Coordinator调度器将物理计划发送给各可用的查询结点Exec Engine执行分布式查询

4、各Exec Engine将查询后的结果发送给Coordinator进行汇总

5、Coordinator将结果返回给客户端

Ambari安装Impala

Impala是cloudera开源的,集成在CDH中,HDP没有提供ImpalaService组件。这里直接使用前人提供的Ambari的Impala插件。https://github.com/cas-bigdatalab/ambari-impala-service

结点规划

结点 角色
node1 Impala_Catalog_Service、Impala_State_Store
node2 Impala_Daemon
node3 Impala_Daemon
node4 Ambari Server

node1 node2 node3配置Impala yum源

[root@node1 ~]# cat /etc/yum.repos.d/impala.repo
    [cloudera-cdh5]
    # Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 6 x86_64
    name=Cloudera's Distribution for Hadoop, Version 5
    baseurl=https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/
    gpgkey =https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
    gpgcheck = 1

[root@node1 ~]# scp /etc/yum.repos.d/impala.repo root@node2:/etc/yum.repos.d/

[root@node1 ~]# scp /etc/yum.repos.d/impala.repo root@node3:/etc/yum.repos.d/

node4下载ambari-impala-service插件

[root@node4 ~]# VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`

[root@node4 ~]# git clone https://github.com/cas-bigdatalab/ambari-impala-service.git /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/IMPALA

重启Ambari-server

[root@node4 ~]# service ambari-server restart

Ambari WebUI安装Impala

按ambari正常安装组件的步骤即可完成安装。

node1节点安装Impala_Catalog_Service和Impala_State_Store

node2、node3节点安装Impala_Daemon

启动Impala

(1)先启动Hive Metastore

(2)再启动Impala服务

验证

(1)、Ambari Impala Server正常开启

Ambari_impala.png

(2)、验证Impala-shell

[root@node3 ~]# impala-shell

impala_hive.png

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wangpei1949/article/details/79955427
文章标签: Ambari Impala
个人分类: Ambari Impala
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭