Ambari安装Impala

标签: Ambari Impala
9人阅读 评论(0) 收藏 举报
分类:

简介

Impala是Cloudera开发并开源的,能查询存储在HDFS和HBase中的数据。同Hive一样,也是一种SQL on Hadoop解决方案。但Impala抛弃了MapReduce,使用更类似于传统的MPP数据库技术来提高查询速度。

Impala架构

impala_architecture.png

Impala Daemon

Impala Daemon服务对应的进程为Impalad。
Impalad负责接受来自JDBC,ODBC,Hue,Impala-shell等客户端的查询请求,并与其他Impalad进程节点分布式并行工作,并将本节点的查询结果返回给调度节点。注:调度节点即接收到查询请求的Impalad进程节点。

Impala Statestore

Impala Statestore服务对应的进程为statestored。statestored与Impalad保持心跳,获取各Impalad进程节点的健康状况,并将健康状况转发给其他Impalad进程节点。有新的查询时,调度结点不会把处理请求发送到健康状况不可用的节点上。

Impala Catalog

Impala Catalog服务对应的进程为catalogd。catalogd负责将元数据变化推送到Impalad进程节点。

查询流程

查询流程对应图示编号1-5:

1、客户端如Impala Shell向Impala Daemon发送SQL

2、Impala Daemon中的Planner解析SQL,生成逻辑执行计划并优化,将物理执行计划发送给调度器Coordinator

3、Coordinator调度器将物理计划发送给各可用的查询结点Exec Engine执行分布式查询

4、各Exec Engine将查询后的结果发送给Coordinator进行汇总

5、Coordinator将结果返回给客户端

Ambari安装Impala

Impala是cloudera开源的,集成在CDH中,HDP没有提供ImpalaService组件。这里直接使用前人提供的Ambari的Impala插件。https://github.com/cas-bigdatalab/ambari-impala-service

结点规划

结点 角色
node1 Impala_Catalog_Service、Impala_State_Store
node2 Impala_Daemon
node3 Impala_Daemon
node4 Ambari Server

node1 node2 node3配置Impala yum源

[root@node1 ~]# cat /etc/yum.repos.d/impala.repo
    [cloudera-cdh5]
    # Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 6 x86_64
    name=Cloudera's Distribution for Hadoop, Version 5
    baseurl=https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/
    gpgkey =https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
    gpgcheck = 1

[root@node1 ~]# scp /etc/yum.repos.d/impala.repo root@node2:/etc/yum.repos.d/

[root@node1 ~]# scp /etc/yum.repos.d/impala.repo root@node3:/etc/yum.repos.d/

node4下载ambari-impala-service插件

[root@node4 ~]# VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`

[root@node4 ~]# git clone https://github.com/cas-bigdatalab/ambari-impala-service.git /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/IMPALA

重启Ambari-server

[root@node4 ~]# service ambari-server restart

Ambari WebUI安装Impala

按ambari正常安装组件的步骤即可完成安装。

node1节点安装Impala_Catalog_Service和Impala_State_Store

node2、node3节点安装Impala_Daemon

启动Impala

(1)先启动Hive Metastore

(2)再启动Impala服务

验证

(1)、Ambari Impala Server正常开启

Ambari_impala.png

(2)、验证Impala-shell

[root@node3 ~]# impala-shell

impala_hive.png

查看评论

hortonworks ambari集成impala

1.下载ambari-impala-service sudo git clone https://github.com/cas-bigdatalab/ambari-impala-service.gi...
  • liuwei063608
  • liuwei063608
  • 2016-10-11 14:36:54
  • 2193

Ambari安装指南

一、准备工作 l 基本工具 1) 安装epel,epel是一个提供高质量软件包的项目。先检查主机上是否安装: rpm -q epel-release 2) 如果没有安装,使用rpm命令...
  • dm520
  • dm520
  • 2015-03-03 10:44:42
  • 1979

Ambari安装与使用

  • 2014年02月16日 21:13
  • 793KB
  • 下载

Ambari集成Elasticsearch 5.x

1、资源URLhttps://github.com/Jaraxal/ambari-elasticsearch-service 下载得到ambari-elasticsearch-service-mas...
  • chengyuqiang
  • chengyuqiang
  • 2017-12-13 13:05:57
  • 704

CentOS7局域网下安装离线Ambari

  • 2018年01月06日 23:33
  • 4.33MB
  • 下载

手把手教你独立安装impala

经过近一个星期的整理,终于成功的将独立于cdh模块的impala装好了,期间经过了很多的迷茫,也遇到了各种的问题,网上相对的资料也不清晰,通过自己的整理,总算是理解了整改的安装流程,在解决问题的同时也...
  • yubeihong
  • yubeihong
  • 2016-09-19 10:16:32
  • 4004

Ambari 常用的 REST API 介绍

Ambari 借鉴了很多成熟分布式软件的 API 设计。 Rest API 就是一个很好地体现。通过 Ambari 的 Rest API,可以在脚本中通过 curl 维护整个集群。 并且,我们可以...
  • chengyuqiang
  • chengyuqiang
  • 2017-03-10 13:08:07
  • 2961

Impala 安装配置

catalog节点yum install -y impala-server impala impala-state-store impala-catalogworker 节点 yum install...
  • wankunde
  • wankunde
  • 2017-11-24 14:54:33
  • 438

impala 安装

本文详细讲述了impala5.3.1在集群中的安装
  • qiangbo1
  • qiangbo1
  • 2015-11-13 14:57:14
  • 8990

Impala手动安装

Impala 安装 1 准备 1.1 新增Impala用户并加入sudo权限 chmod u+w /etc/sudoers vi /etc/sudoers impala   ALL=(ALL) NOP...
  • shenliang1985
  • shenliang1985
  • 2016-05-15 23:09:00
  • 8023
    个人资料
    持之以恒
    等级:
    访问量: 6万+
    积分: 1067
    排名: 4万+
    最新评论