Druid原理分析之“批”任务数据流转过程

本文以HDFS中的数据作为数据源，描述Druid中对批数据的处理流程：

1. 向Druid中提交批数据处理请求。Druid中的批处理任务会从HDFS中获取原数据。
2. 批任务会根据处理请求生成segment，并将生成的segments存到Deep Storage（HDFS）中。
3. 将生成的segment的元数据信息保存到元数据存储DB（如MySQL）
4. Coordinator会定时从元数据存储DB中查新生成的segment信息。
5. Coordinator将这些segment的信息写入Zookeeper的loadqueue中。
6. Historical节点监听ZooKeeper中的loadqueue，并从loadqueue中获取其需要加载的segment信息。
7. Historical节点从Deep Storage下载所需要的segment到本地磁盘。
8. 加载完成后，Historical将下载的这些segment注册到ZooKeeper中。
9. 客户端查询时，首先将请求发送到Broker，然后Broker首先从缓存中查找是否有需要的数据。
10. 如果没有，Broker会从ZooKeeper中获取segment信息。
11. 将查询请求发送至相关Historical节点，Historical节点进行计算后，将各自的部分查询结果返回给Broker。
12. Broker聚合后将结果返回给客户端。