Impala学习--Impala后端代码分析

Impala学习–Impala后端代码分析

Table of Contents

• 1 代码结构
• 2 StateStore
• 3 Scheduler
• 4 impalad启动流程
• 5 Coordinator
• 6 ExecNode
• 7 PlanFragmentExecutor

1 代码结构

• service: 连接前端，并接受client的请求
• runtime: 运行时需要的类，包括coordinator, datastream, mem-pool, tuple等
• exec: ExecNode，执行节点
• expr: 表达式求值
• transport: Thrift SASL: Simple Authentication and Security Layer
• statestore: 调度，nameservice，资源池
• codegen: 代码生成

2 StateStore

StateStore是一个C/S结构的信息订阅服务，在Impala里面，主要用于管理当前集群的membership状态，并用于调度和发现故障进程。StateStore是一个独立的进程，每一各impalad会建立一个或多个于StateStore的连接。

StateS