大数据组件Impala常见面试题总结

2.13.1 什么是Impala?
Impala是cloudera提供的一款高效率的Sql查询工具，提供实时的查询效果，官方测试性能比Hive快10到100倍，其Sql查询比SparkSql还要更加快速，号称是当前大数据领域最快的查询Sql工具；
Impala是基于Hive并使用内存进行计算，兼顾数据仓库，具有实时，批处理，多并发等优点；

2.13.2 Impala与Hive的区别
(1)相同点
①　Impala与Hive都是构建在Hadoop之上的数据查询工具各有不同的侧重适应面，但从客户端使用来看，Impala与Hive有很多的共同之处，如数据表元数据、ODBC/JDBC驱动、SQL语法、灵活的文件格式、存储资源池等；
(2)不同点
①执行计划：
1)Hive：依赖于MapReduce执行框架，执行计划分成map->shuffle->reduce->map->shuffle->reduce...的模型。如果一个查询被编译成多个MapReduce，则会有更多的写中间结果。由于MapReduce执行框架本身的特点，过多的中间过程会增加整个查询的执行时间；
2)Impala：把执行计划编译为一棵执行计划树，可以更加自然地分发执行计划到各个Impala服务(Impalad)中进行执行，而不用像Hive那样将执行计划组合成管道型的map->reduce模式，以此保证Impala有更好的并发性和避免不必要的中间排序与shuffle过程；
②内存使用
1)Hive：在执行过程中，如果内存放不下所有数据，则会使用磁盘进行存储。每一轮MapReduce结束，中间结果也会写入HDFS中，同样由于MapReduce执行架构的特性，shuffle过程也会有写本地磁盘的操作；
2)Impala：在遇到内存放不下所有数据的时候，则直接会报错，而不是使用磁盘进行存储，所以这也使得Impala目前处理查询会受到一定的限制，最好还是与Hive配合使用；
③调度
1)Hive：任务调度依赖于Hadoop的Yarn调度策略；
2)Impala：调度由自己完成，内部有一种调度器simple-schedule，它会尽量满足数据的局部性，扫描数据的进程尽量靠近数据本身所在的物理机器，从而减少网络IO、负载等因素的影响；
④容错
1)Hive：Hive依赖于Hadoop的容错能力；
2)Impala：在查询过程中，没有容错逻辑，如果在执行的过程中发生了故障，则直接返回错误，这与Impala设计有关，因为Impala定位是实时查询，一次查询失败，再查一次就好了，再查一次的成本很低；
⑤适用面
1)Hive：用于复杂的批处理查询任务和数据转换任务；
2)Impala：用于实时数据分析，但是不支持自定义UDF，所以能处理的问题有一定的限制，需要配合Hive一起使用，对Hive的结果数据集进行实时分析；

2.13.3 Impala架构

Impala主要由Impalad、State Store、Catalogd和CLI组成；
(1)Impalad
①Impalad(Impala server，Impala服务)：可以部署多个不同机器上，通常与datanode部署在同一个节点 方便数据本地计算，负责具体执行本次查询sql的impalad称之为Coordinator。每个impala server都可以对外提供服务；
(2)State Store：主要是跟踪集群中impalad的健康状态及位置信息；
(3)Catalogd：作为metadata访问网关，负责跟Hive的metastore进行交互，同步Hive的元数据到Impala自己的元数据中；
(4)CLI：用户操作Impala的方式(Impala Shell、JDBC、HUE)；

2.13.4 Impala查询处理过程
(1)Impalad分为Java前端与C++处理后端，接受客户端连接的Impalad即作为这次查询的 Coordinator(协调器)，Coordinator通过JNI调用Java前端对用户的查询Sql进行分析生成执行计划树；
(2)Java前端产生的执行计划树以Thrift数据格式返回给C++后端(Coordinator)；
(3)Coordinator根据执行计划树和数据存储信息，通过调度器(simple-schedule)对生成的执行计划树分配给相应的后端执行器Impalad执行，查询结果返回给Java前端；

2.13.5 Impala Sql与Hive Sql的区别 

基本的语法跟Hive的查询语句大体一样；
Impala支持开窗函数；
Impala不支持cluster by、 distribute by、sort by；
Impala不支持分桶表；
Impala不支持collect_set(col)和explode(col)函数；
Impala不支持自定义UDF函数；