Impala核心组件与架构

核心组件
• Statestore Daemon
– 负责收集分布在集群中各个impalad进程的资源信息、各节点健康状况,同步
节点信息.
– 负责query的调度

• Catalog Daemon
– 分发表的元数据信息到各个impalad中
– 接收来自statestore的所有请求

• Impala Daemon(最核心)
– 接收client、hue、jdbc或者odbc请求、Query执行并返回给中心协调节点
– 子节点上的守护进程,负责向statestore保持通信,汇报工作

整体架构
这里写图片描述
首先,由上可知,Statestore和Catalog是需要通信的,所以,搭建时,这两个是放在一台主机上,从而使之通信不需走网络请求。
执行流程:客户端(SQL APP、ODBC)发送SQL请求至Query Planner,解析后送至QueryCoordinator进行负载均衡的一个调度(当前的QueryCoordinator将作为整个job的leader),分发到不同的Impalad进程,并最终通过各个Query Executor来执行查询,最后将执行结果送回QueryCoordinator(leader),返回给客户端。
Impalad的数据是存储在HDFS或者HBasse中,所以,Impalad进程与DataNode部署在一台机器上。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值