既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
架构与设计
一、背景和起源
现有的大数据查询分析工具Hive更适合长时间批处理查询分析,并不能满足实时交互式场景。因此根据谷歌的Dremel设计思想,Cloudera公司开发了一款高效率实时查询工具Impala,其性能比Hive快10到100倍。Impala没有使用MapReduce进行计算,而是将整个查询转化成执行计划树,分发到各个机器执行,然后通过拉的方式获取结果并组合成最终结果。
二、框架概述
Impala是一款基于Hive的大数据分析查询引擎,直接使用Hive的元数据Metastore,因此如果使用Impala需要先安装Hive并启动Metastore服务。Impala不依赖MapReduce而是将执行计划树进行并行计算,使用拉的方式获取结果数据,把结果数据按执行树流是传递汇集,减少中间结果落盘。
1.设计特点
- 本地化计算、减少数据的网络传输
- 采用Hive Metastore进行元数据存储和管理
- 无需进行格式转化
- 支持即席查询无延迟
- 采用大规模并行处理架构、硬件利用率高
- 不依赖MapReduce,并行处理执行计划,避免启动MapReduce开销
- 结果写入内存并通过网络汇总,节省读写磁盘开销
2.框架优点
- 基于内存进行计算,适合实时交互式SQL查询和分析
- 无需转化为MapReduce,直接访问HDFS以及Hbase数据,低延迟
3.框架限制
- 数据需要写入内存,对内存消耗比较大
- 没有容错逻辑,如果执行过程发生错误会直接返回错误
- 不支持UDF定制
三、架构图
Impala采用MPP架构,主要由Impala Daemon、Statestore和Catalog等三个模块组成。
1.Impala Daemon
接收查询请求,将查询请求生成计划树,分发执行计划到其他节点。进行数据读写,将结果进行汇总并返回。
Impala Daemon服务包含三个模块:Query Planner、Query Coordinator和Query Executor。
2.Statestore
主要是收集集群中所有Deamon的节点信息和健康情况。每个Deamon会从Statestore拉取并缓存所有Deamon相关信息,用于执行计划的分配。
3.Catalog
Impala的元数据服务,集群启动时从Hive Metastore加载元数据信息,如需再次加载需要使用invalidate metadata、refresh命令。Catalog负责接收Statestore的元数据查询请求。在Impala执行SQL导致元数据发生变化时,Catalog会将元数据变化同步给Statestore,再由Statestore广播给所有Daemon节点。
四、Impala查询流程
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**